Copy Less, Ground More: Overcoming Repetitive Copying in Long-Context Reasoning via Evidence-Aware Reinforcement Learning
Dieses Paper identifiziert „repetitives Kopieren“ als einen kritischen Fehlermodus beim logischen Schließen in langen Kontexten, bei dem Modelle wahllos Eingabetext kopieren, anstatt sich auf entscheidende Belege zu konzentrieren, und schlägt GEAR vor, eine evidenzbasierte Reinforcement-Learning-Methode, die die Leistung verbessert, indem sie die Fundierung in relevanten Informationen belohnt und die Abhängigkeit von irrelevanten Ablenkerlementen bestraft.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einen riesigen, 100-seitigen Kriminalroman zu lösen, bei dem die Hinweise im ersten Kapitel versteckt sind, der Rest des Buches jedoch nur eine Wand aus Rauschen ist. Sie haben einen superintelligenten Detektiv-Freund (ein Large Language Model), der das ganze Buch in einer Sekunde lesen kann. In der Vergangenheit waren diese Detektive gut darin, Kurzgeschichten zu bewältigen, aber als man ihnen den 100-seitigen Roman gab, begannen sie sich seltsam zu verhalten. Anstatt nachzudenken, gerieten sie in eine Panik-Kopie-Phase. Sie begannen, ihre Detektivnotizen zu schreiben, indem sie einfach riesige Textblöcke aus dem Originalbuch immer und immer wieder zurück auf die Seite kopierten. Dieses Paper mit dem Titel „Copy Less, Ground More“ taucht tief in diesen spezifischen Fehler ein. Es untersucht, wie diese KI-„Denkmodelle“, die darauf ausgelegt sind, Schritt für Schritt zu argumentieren, in eine Schleife geraten, in der sie gedankenlos Text kopieren, wenn die Geschichte zu lang wird. Die Forscher fanden heraus, dass dies nicht nur eine harmlose Angewohnheit ist; es ist eine Falle, die die KI dümmer, langsamer und weniger fähig macht, das Rätsel zu lösen. Sie schlagen eine neue Art vor, diese KIs zu trainieren, indem man ihnen beibringt, das Rauschen zu ignorieren und sich nur auf die winzigen, entscheidenden Hinweise zu konzentrieren, die tatsächlich wichtig sind.
Der Ärger beginnt, wenn diese KI-Detektive vor einer „Long-Context“-Herausforderung stehen. Denken Sie an einen langen Kontext als eine riesige Bibliothek, in der die Antwort auf eine Frage irgendwo unter Millionen von Wörtern vergraben ist. Das Paper identifiziert einen kritischen Fehlermodus namens „repetitives Kopieren“. Wenn die Bibliothek riesig wird, hört die KI auf zu denken und beginnt, wie ein Kopierer mit einem kaputten Gehirn zu agieren. Anstatt die Lösung zu finden, kopiert sie einfach große Passagen aus dem Prompt (der Frage und der Geschichte) direkt in ihre eigene Argumentationsspur (Reasoning Trace). Die Forscher fanden heraus, dass dies bei fast jedem der getesteten Top-KI-Modelle geschieht und sich verschlimmert, je länger die Geschichte wird. Es ist wie ein Schüler, der eine Prüfung ablegt und, anstatt das Matheproblem zu lösen, einfach nur die Lehrbuchseite in sein Antwortblatt abschreibt. Dieses Verhalten ist weit verbreitet und tritt in sieben verschiedenen Frontier-Modellen auf; es intensiviert sich, wenn die Kontextlänge von 8.000 auf 64.000 Wörter ansteigt.
Aber warum tut die KI das? Die Autoren gruben tiefer und erkannten, dass die Ursache nicht darin liegt, dass Kopieren an sich schlecht ist, sondern dass die KI alles wahllos kopiert. Sie entdeckten, dass die KI es versäumt, sich in den Schlüsselbeweisen zu „verankern“ (grounding). Stellen Sie sich vor, Sie suchen nach einem bestimmten roten Faden in einem riesigen Wollknäuel. Ein kluger Detektiv würde nur den roten Faden herausziehen. Die verwirrte KI hingegen greift nach dem ganzen Wollknäuel, einschließlich des blauen, grünen und gelben Mülls, und zieht alles mit sich. Das Paper zeigt, dass die KI die Aufgabe nicht löst, wenn sie hauptsächlich den „Distraktor“-Text (den Müll) kopiert. Aber wenn sie selektiv die „Schlüsselbeweise“ (den roten Faden) kopiert, ist sie erfolgreich. Das Problem ist nicht das Kopieren selbst; es ist der Mangel an Fokus. Die KI ertrinkt in irrelevanten Details, weil sie nicht weiß, wie sie das Signal vom Rauschen unterscheidet.
Um dies zu beheben, erfand das Team eine neue Trainingsmethode namens GEAR (Grounding Evidence-Aware Reward). Denken Sie an dies als eine neue Regel für ein Videospiel. Im alten Spiel erhielt die KI nur Punkte, wenn sie die endgültige Antwort richtig gab. Im neuen GEAR-Spiel sind die Regeln strenger. Die KI erhält einen Bonuspunkt, wenn ihre Argumentationsspur mit den spezifischen „Schlüsselbeweisen“ (dem roten Faden) überlappt. Aber hier ist der Clou: Sie erhält eine schwere Strafe, wenn ihre Spur mit dem „Distraktor“-Text (dem Müll) überlappt. Dies erzeugt ein Tauziehen. Die KI lernt, dass sie, um zu gewinnen, ein Scharfschütze sein muss, kein Maschinengewehr. Sie muss die richtigen Hinweise finden und den Rest ignorieren. Um dies auf realen Dokumenten (nicht nur auf erfundenen Matheproblemen) anwendbar zu machen, bauten sie eine automatisierte Pipeline, die wie ein kluger Editor fungiert, indem sie lange Dokumente zerlegt, um zu identifizieren, welche Teile die „Beweise“ und welche Teile nur „Füllmaterial“ sind, wodurch ein Trainingsdatensatz von 3.200 Problemen erstellt wurde.
Als sie diese neue Methode testeten, waren die Ergebnisse bahnbrechend. Sie trainierten drei verschiedene Größen von KI-Modellen (zwischen 9 Milliarden und 35 Milliarden Parametern) unter Verwendung dieses GEAR-Belohnungssystems. Die Ergebnisse zeigten, dass GEAR die Standard-Trainingsmethoden konsequent schlug. Im Durchschnitt verbesserte es die Leistung der KI um bis zu 4,6 Punkte in verschiedenen schwierigen Benchmarks.ت Vor allem korrigierte es die schlechten Angewohnheiten: Die KI kopierte weniger, ihre „Denkspuren“ wurden kürzer und effizienter, und sie wurde tatsächlich besser darin, Probleme zu lösen, insbesondere in sehr langen Kontexten (bis zu 128.000 Wörtern). Das Paper legt nahe, dass, während sich die KI in Richtung komplexer Argumentation bewegt, die Fähigkeit, fest auf den richtigen Beweisen zu stehen, die wichtigste Fähigkeit von allen ist. Ohne sie verliert sich die KI in ihrem eigenen Kopieren. Mit GEAR lernt sie, weniger zu kopieren und mehr zu verankern, wodurch sie den chaotischen Kopierer wieder in einen scharfsinnigen Detektiv verwandelt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.