🤖 AI

Internalized Reasoning for Long-Context Visual Document Understanding

Die Arbeit stellt eine synthetische Datenpipeline vor, die durch das Generieren und Internalisieren von Denkspuren mittels SFT und Model-Merging die Fähigkeit zum logischen Schlussfolgern in langen visuellen Dokumenten verbessert und dabei mit dem 32B-Modell Qwen3 VL die Leistung des 7-mal größeren Qwen3 VL 235B A22B auf dem MMLongBenchDoc übertrifft.

Ursprüngliche Autoren: Austin Veselka

Veröffentlicht 2026-04-06

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Austin Veselka

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast einen riesigen Stapel Aktenordner vor dir – vielleicht 100 Seiten lang – und jemand fragt dich eine sehr spezifische Frage dazu. Die meisten Computerprogramme (KIs) würden versuchen, den ganzen Stapel Seite für Seite zu lesen, wie ein Schüler, der alles auswendig lernen muss, bevor er die Antwort findet. Das ist langsam, anstrengend und oft verwirrt, weil die wichtige Information irgendwo in der Mitte „verloren" geht.

Diese Forschungsarbeit von Austin Veselka und dem Team bei LightOn stellt eine neue Methode vor, wie man einer KI beibringt, nicht nur zu lesen, sondern zu denken, bevor sie antwortet. Hier ist die Erklärung in einfachen Worten:

1. Das Problem: Der „blindes Durchblättern"-Effekt

Bisherige KI-Modelle für lange Dokumente waren wie ein Student, der den ganzen Text laut vorliest, ohne zu verstehen, was wichtig ist. Selbst die größten Modelle (die „Genies" unter den KIs) stolperten oft über diese langen Texte. Sie hatten keine Strategie, um die relevanten Stellen herauszufiltern.

2. Die Lösung: Ein künstlicher Detektiv

Die Autoren haben eine Art „künstliche Werkstatt" gebaut, um der KI beizubringen, wie ein Detektiv zu denken.

Der Scouting-Prozess: Statt die ganze Akte zu lesen, schickt die KI erst einen kleinen Bot durch den Stapel. Dieser Bot schaut sich jede Seite an und gibt ihr eine Punktzahl: „Ist diese Seite für die Frage wichtig?" (1 bis 10 Punkte).
Die Auswahl: Nur die besten Seiten (die Top-K) werden ausgewählt und sortiert. Die unwichtigen Seiten werden ignoriert.
Der Denk-Prozess: Die KI bekommt dann nur diese wenigen, wichtigen Seiten und eine Anweisung: „Denk erst nach, bevor du antwortest." Sie schreibt ihre Überlegungen in einen unsichtbaren Block (wie einen Notizblock im Kopf), bevor sie die finale Antwort gibt.

3. Der Trick: Vom „Lauten Denken" zum „Stummen Intuitiven"

Das ist der coolste Teil der Arbeit. Normalerweise muss eine KI laut „denken" (viele Wörter generieren), um gute Antworten zu geben. Das kostet Zeit und Rechenleistung.

Die Forscher haben einen Trick angewendet, den sie „Internalisierung" nennen:

Stufe 1 (Das Lernen): Sie trainieren die KI so, dass sie ihre Gedanken laut ausspricht (in einem speziellen Format <cot>). Sie lernt also: „Zuerst suche, dann bewerte, dann antworte."
Stufe 2 (Das Verschmelzen): Danach nehmen sie dieses „gelernte Denken" und mischen es ganz sanft in das Gehirn der KI zurück (wie einen Gewürztröpfchen in einen großen Topf Suppe).
Das Ergebnis: Die KI muss nicht mehr laut „denken". Sie hat die Denkstrategie verinnerlicht. Wenn du sie jetzt fragst, springt sie sofort zur richtigen Seite, findet die Antwort und gibt sie heraus – ohne den langen Denkprozess sichtbar zu machen. Es ist, als hätte ein Schüler, der jahrelang laut gerechnet hat, plötzlich den Lösungsweg im Kopf und schreibt nur noch das Endergebnis auf den Zettel.

4. Warum ist das so wichtig?

Geschwindigkeit: Die KI braucht viel weniger Zeit und Rechenleistung, weil sie nicht mehr alles laut durchsprechen muss.
Qualität: Trotz des fehlenden lauten Denkens ist die Antwort besser als bei den riesigen Modellen, die 7-mal mehr Speicherplatz brauchen.
Steuerbarkeit: Die Forscher haben einen „Schalter" (ein spezielles Wort im Befehl) eingebaut. Wenn sie den Schalter umlegen, kann die KI wieder laut denken, wenn es besonders knifflig ist. Wenn sie ihn ausschalten, arbeitet sie blitzschnell und leise.

Zusammenfassung in einer Metapher

Stell dir vor, du suchst einen bestimmten Satz in einem riesigen Buch.

Die alte KI liest das ganze Buch von vorne bis hinten, Seite für Seite, laut vor.
Die neue KI (nach diesem Paper) hat gelernt, erst den Index zu lesen, die richtigen Seiten zu markieren, den Inhalt zu prüfen und dann die Antwort zu geben.
Das Genie-Trick: Normalerweise muss sie dir sagen, wie sie den Index gelesen hat. Aber durch den „Misch-Trick" der Forscher hat sie das Lesen des Index so gut verinnerlicht, dass sie es automatisch tut, ohne dass du es hörst. Sie wird schneller, bleibt aber genauso schlau.

Fazit: Diese Arbeit zeigt, dass man KI nicht nur mit mehr Daten füttern muss, um sie schlauer zu machen, sondern ihr beibringen kann, wie man Probleme löst. Und das Beste: Sie kann dieses „Denken" so tief verinnerlichen, dass es unsichtbar und extrem effizient wird.

1. Problemstellung

Das Verständnis langer visueller Dokumente (z. B. juristische Verträge, wissenschaftliche Artikel, Unternehmensberichte) ist für viele Anwendungen kritisch. Bestehende Open-Source-Modelle für lange Kontexte (Long-Context VLMs) haben jedoch Schwierigkeiten, komplexe mehrstufige Schlussfolgerungen (Reasoning) über hunderte von Seiten hinweg durchzuführen.

Lücke: Während Reasoning-Modelle (wie o1 oder DeepSeek-R1) in Mathematik und Code durch „Thinking"-Prozesse enorme Fortschritte gemacht haben, fehlt diese Fähigkeit bei der Dokumentenanalyse oft.
Herausforderung: Der Mangel an verifizierbaren Belohnungssignalen (wie bei Mathematik) erschwert das Training von Reasoning-Modellen für QA-Aufgaben.
Beobachtung: Selbst große Modelle wie Qwen3 VL 235B erreichen bei Benchmarks wie MMLongBenchDoc (MMLBD) keine menschlichen Baselines, und die „Thinking"-Varianten dieser Modelle verbessern die Dokumentenverständnis-Leistung nicht signifikant.

2. Methodik

Die Autoren stellen eine synthetische Daten-Pipeline vor, die strukturierte Reasoning-Spuren (Thinking Traces) für lange Dokumente generiert und diese Fähigkeit durch Modell-Merging in das Modell „internalisiert".

A. Synthetische Reasoning-Pipeline

Die Pipeline durchläuft zwei Hauptstufen, um hochwertige Trainingsdaten zu erzeugen:

Extraktion und Relevanz-Scoring: Ein VLM (Qwen3 VL 32B) analysiert jede Seite eines Dokuments unabhängig. Es extrahiert evidenzbasierte Textsnippets und weist jeder Seite einen Relevanz-Score (0–10) zu. Seiten, die zur Frage gehören, werden explizit als hochrelevant markiert.
Sortierung und Auswahl: Alle Seiten werden nach Relevanz sortiert. Nur die Top-K (Standard: 24) relevantesten Seiten werden behalten. Irrelevante Seiten werden verworfen (im Gegensatz zu früheren Ansätzen, die alle Seiten sequenziell durchlaufen ließen).
Antwortgenerierung (Dual-Branch):
- Visueller Zweig: Ein starkes Teacher-Modell (Qwen3 VL 235B) generiert die Antwort basierend auf den Top-K Bildern.
- Text-Zweig: Ein LLM generiert die Antwort basierend nur auf den extrahierten Text-Snippets.
- Die Trainingsdaten werden zu gleichen Teilen aus beiden Zweigen gezogen, um sowohl visuelle als auch textuelle Abhängigkeiten zu lernen.

B. Trace-Design (v1 vs. v2)

Ein entscheidender Aspekt ist das Design der Reasoning-Spur:

v1 (Fehlerhaft): Enthielt alle Seiten in Reihenfolge, auch irrelevante. Dies führte dazu, dass Modelle während des Inferenzlaufs in Endlosschleifen gerieten (indefinite looping), da sie leere Seiten immer wieder durchlaufen mussten.
v2 (Verbessert): Enthält nur die Top-K relevanten Seiten, sortiert nach Relevanz. Dies lehrt dem Modell einen „bounded retrieval"-Algorithmus: Hole relevante Informationen, ordne sie und stoppe. Dies eliminiert das Looping-Problem.

C. Internalisierung durch Modell-Merging

Das Ziel ist es, die Reasoning-Fähigkeit so zu verankern, dass sie ohne explizite „Thinking"-Tokens (wie <thought>) im Output funktioniert.

Steuerung: Während des Trainings wird ein <cot>-Control-Token verwendet. In 95% der Fälle wird die Reasoning-Spur eingeblendet, in 5% nur die Antwort.
Merging: Das finale Modell entsteht durch Task-Arithmetic (Modell-Merging):
$\theta_{merged} = \theta_{base} + \alpha \cdot (\theta_{SFT} - \theta_{base})$
- Bei hoher Stärke ( $\alpha=0.5$ ) generiert das Modell explizite Thinking-Tokens und lange Ausgaben.
- Bei niedriger Stärke ( $\alpha=0.25$ ) generiert das Modell keine expliziten Thinking-Tokens, behält aber die volle Reasoning-Leistung bei. Das Modell hat den Reasoning-Prozess internalisiert (kompaktiert).

3. Key Contributions

Synthetische Reasoning-Pipeline: Ein neuer Ansatz zur Generierung von strukturierten Reasoning-Daten für lange Dokumente, der State-of-the-Art (SOTA) Ergebnisse erzielt.
Internalized Reasoning: Demonstration, dass Reasoning-Fähigkeiten durch niedriges Merging internalisiert werden können. Das Modell führt die Reasoning-Logik im Inferenzschritt aus, ohne den Output durch Thinking-Tokens zu verlängern (Token-Overhead ist minimal).
Steuerbarkeit: Durch den <cot>-Token kann die Reasoning-Fähigkeit während der Inferenz ein- und ausgeschaltet werden. Ohne den Token sinkt die Leistung signifikant, was beweist, dass die Fähigkeit aktiv und nicht nur ein Trainingsartefakt ist.
Überlegenheit gegenüber Distillation: Die synthetisch generierten, strukturierten Spuren (v2) sind effektiver als das reine Distillieren von „Thinking"-Spuren aus großen Modellen (wie Qwen3 VL Thinking).

4. Ergebnisse

Die Studie wurde auf Qwen3 VL 32B und Mistral Small 3.1 24B durchgeführt.

MMLongBenchDoc (MMLBD):
- Das Qwen3 VL 32B Modell mit synthetischem Reasoning erreicht 58.3 Punkte.
- Dies übertrifft das 7-mal größere Teacher-Modell (Qwen3 VL 235B A22B Instruct) mit 57.0 Punkten.
- Es übertrifft auch die „Thinking"-Variante des 235B-Modells (56.2).
Mistral Small 3.1 24B:
- Das synthetische Reasoning verbessert die Leistung um +19% relativ zum Basismodell auf MMLBD und MMLBD-C.
- Es schlägt die Distillation von Thinking-Traces des Qwen3 VL 235B Thinking um 3.8 Punkte auf MMLBD-C.
Effizienz:
- Das internalisierte Modell ( $\alpha=0.25$ ) hat eine durchschnittliche Output-Länge von 132 Tokens (Mistral) bzw. 250 Tokens (Qwen), was vergleichbar mit dem „No-Think"-Baseline ist.
- Im Gegensatz dazu generiert das explizite Reasoning-Modell ( $\alpha=0.5$ ) durchschnittlich 1637 Tokens (Mistral), also 12,4-mal mehr.
Ablationsstudie: Das Entfernen des <cot>-Tokens während der Inferenz führt zu einem Leistungsabfall (z. B. -3.8 Punkte bei Qwen auf MMLBD), was bestätigt, dass die Reasoning-Fähigkeit aktiv genutzt wird.

5. Bedeutung und Fazit

Das Paper zeigt, dass strukturierte synthetische Reasoning-Daten entscheidend für das Verständnis langer Dokumente sind und dass diese Fähigkeiten effizient in kleinere Modelle integriert werden können.

Effizienz: Es ermöglicht SOTA-Leistung auf Benchmarks für lange Dokumente mit Modellen, die deutlich kleiner sind als die aktuellen State-of-the-Art-Modelle (32B vs. 235B).
Internalisierung: Der Ansatz beweist, dass Reasoning nicht zwingend lange, explizite „Thinking"-Ausgaben erfordert, um effektiv zu sein. Durch geschicktes Merging kann das Modell die Logik im Hintergrund anwenden („Internalized Reasoning"), was Kosten und Latenz senkt.
Design-Macht: Die Qualität des Reasoning-Traces (Relevanz-Sortierung, Bounded Top-K) ist wichtiger als die bloße Existenz von Thinking-Daten. Schlechte Designs (wie v1 mit Endlosschleifen) können die Leistung sogar verschlechtern.

Zusammenfassend bietet die Arbeit einen reproduzierbaren Weg, um komplexe Reasoning-Fähigkeiten für visuelle Dokumentenanalyse in ressourcenschonenden Modellen zu verankern, ohne auf massive Rechenleistung oder explizite lange Inferenzketten angewiesen zu sein.