💻 computer science

An LMM for Precisely Grounding Elements in Documents

Das Papier stellt PreciseDoc vor, ein Large Multimodal Model, das darauf ausgelegt ist, die Präzision des visuellen Groundings in textreichen Dokumenten durch den Einsatz von massenhaft produzierten synthetischen Trainingsdaten und ein gemeinsames Reinforcement-Learning-Paradigma zu verbessern, welches Grounding mit Reasoning vereinigt.

Ursprüngliche Autoren: Yijian Lu, Chuangxin Zhao, Kai Sun, Lei Hou, Juanzi Li, Ji Qi

Veröffentlicht 2026-06-24

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yijian Lu, Chuangxin Zhao, Kai Sun, Lei Hou, Juanzi Li, Ji Qi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine riesige, unordentliche Bibliothek voller Dokumente – Lebensläufe, akademische Arbeiten, Diagramme und Formulare. Sie bitten einen klugen Roboter (ein Large Multimodal Model, oder LMM), eine bestimmte Information zu finden, wie zum Beispiel: „Zeig mir die Telefonnummer auf diesem Lebenslauf.“

Derzeit sind Roboter wie Schüler, die zwar lesen können, aber schrecklich darin sind, auf etwas zu zeigen. Sie können zwar sagen: „Die Telefonnummer ist 555-0199“, aber sie können Ihnen nicht sagen, wo auf der Seite diese Nummer zu finden ist. Wenn man sie bitten würde, ein Kästchen um sie herum zu zeichnen, würden sie vielleicht über den falschen Absatz zeichnen oder sie ganz übersehen. Das ist ein Problem, denn wenn der Roboter nicht auf den Beweis zeigen kann, können Sie seiner Antwort nicht vertrauen.

Das Paper „PreciseDoc“ stellt einen neuen Roboter vor, der speziell als Meister des „Zeigens“ und als besserer Denker konzipiert wurde. So haben sie ihn gebaut, einfach erklärt:

1. Den Aufbau eines besseren Trainings-Fitnessstudios (Die Data Engine)

Um einem Roboter beizubringen, präzise zu zeigen, braucht man Übungsmaterialien. Die Autoren stellten fest, dass bestehende Übungsmaterialien entweder zu einfach waren oder nicht die „Lösungsschlüssel“ (die exakten Koordinaten) enthielten, die für das Training nötig sind.

Deshalb bauten sie zwei Fabriken, um perfekte Übungsdokumente in Massenproduktion herzustellen:

Die „Digitale Blaupause“-Fabrik: Sie nutzten Computercode (LaTeX), um tausende perfekte Lebensläufe und Dokumente zu generieren. Da sie diese aus Code konstruierten, wussten sie exakt, wo sich jedes Wort befand – wie bei einem digitalen Bauplan eines Hauses.
Die „Handschriftliche Notiz“-Fabrik: Echte Dokumente haben oft unordentliche Handschriften oder sehen so aus, als wären sie mit einer wackeligen Kamera gescannt worden. Um dem Roboter beizubringen, mit solchem Chaos umzugehen, entwickelten sie ein System, das einzelne handgeschriebene Buchstaben (wie Bausteine) zu Sätzen zusammensetzt und dann „Kameraeffekte“ wie Unschärfe oder Schatten hinzufügt. Dies erzeugt synthetische Dokumente, die sich wie echte, unordentliche Dokumente anfühlen, aber dennoch über einen perfekten „Lösungsschlüssel“ verfügen.

2. Der zweistufige Trainingsprozess

Der Roboter lernte nicht nur zu zeigen; er lernte, während des Zeigens zu denken. Das Training fand in zwei Phasen statt:

Phase 1: Der „Kaltstart“ (Das Handwerk lernen)
Bevor der Roboter selbstständig lernen konnte, gaben die Forscher ihm ein „Spickzettel“. Sie nahmen bestehende Fragen und Antworten und fügten manuell die korrekten „Zeig-Boxen“ in den Denkprozess des Roboters ein.

Analogie: Stellen Sie sich vor, Sie bringen einem Kind das Lösen einer Matheaufgabe bei, indem Sie ihm nicht nur die Schritte zeigen, sondern auch genau die Zahlen auf der Seite markieren, die es für jeden Schritt verwendet. Der Roboter lernte zu sagen: „Ich schaue mir diese Box hier an, um die Antwort zu finden“, bevor er das Endergebnis lieferte.

Phase 2: Reinforcement Learning (Der Coach mit der Trillerpfeife)
Sobald der Roboter die Grundlagen beherrschte, ließen sie ihn auf eigene Faust üben, aber mit einem strengen Coach.

Das Belohnungssystem: Wenn der Roboter eine Antwort errat, prüfte der Coach zwei Dinge:
1. Hast du die richtige Antwort gefunden? (Antwort-Belohnung)
2. Hast du auf die richtige Stelle gezeigt? (Grounding-Belohnung)
Der „Hungarische Algorithmus“-Trick: Dies ist ein ausgeklügeltes mathematisches Werkzeug, das die Forscher verwendeten, um die Boxen des Roboters perfekt mit den echten Boxen abzugleichen.
- Das Problem: Wenn ein Roboter 10 Boxen zeichnet, die alle leicht unterschiedlich sind, aber dasselbe Wort abdecken, könnte ein fahrlässiges Bewertungssystem ihm volles Lob geben, weil er „das Wort gefunden hat“.
- Die Lösung: Der Hungarische Algorithmus erzwingt eine Eins-zu-eins-Zuordnung. Wenn der Roboter 10 Boxen für ein einziges Wort zeichnet, erhält nur eine davon Anerkennung, und die anderen 9 werden bestraft. Dies verhindert, dass der Roboter das System durch das „Spammen“ von Boxen austrickst.
Die Längenstrafe: Der Coach bestrafte den Roboter auch, wenn er zu viele Boxen zeichnete, die zu nichts passten. Dies zwang ihn dazu, präzise zu sein und nicht einfach wild zu raten.

3. Die Ergebnisse

Der neue Roboter, genannt PreciseDoc (und seine reasoning-Version PreciseDoc-Reasoner), wurde gegen andere Top-Modelle getestet.

Zeigen: Er wurde viel besser darin, enge, präzise Boxen um Wörter, Phrasen und Linien in Dokumenten zu ziehen, und übertraf damit viele bestehende Modelle.
Denken: Wenn er komplexe Fragen zu Dokumenten lösen musste, rät er nicht einfach nur, sondern zeigt auf die spezifischen Belege, die er nutzt, um zu dem Schluss zu kommen. Er war in der Lage, persönliche Informationen in Lebensläufen oder Daten in Diagrammen mit hoher Präzision zu lokalisieren.
Allgemeines Verständnis: Obwohl er speziell darauf trainiert wurde, zu zeigen und zu argumentieren, blieb er auch bei allgemeinen Aufgaben zum Dokumentenverständnis gut und schnitt konkurrenzfähig mit wesentlich größeren, komplexeren Modellen ab.

Zusammenfassung

Kurz gesagt: Die Autoren haben einen Roboter gebaut, der Dokumente nicht nur „liest“, sondern auch „sieht“ und genau darauf „zeigen“ kann, wo Informationen liegen. Dies erreichten sie durch die Erstellung einer riesigen Bibliothek synthetischer Übungsdokumente mit perfekten Lösungsschlüsseln und indem sie dem Roboter eine strikte Regel gaben: Du musst auf den Beweis zeigen, um zu beweisen, dass deine Antwort richtig ist. Dies macht das Denken des Roboters transparent und wesentlich zuverlässiger.

Technisches Resümee: Ein LMM für präzises Grounding von Elementen in Dokumenten

Problemstellung

Visual Grounding – die Fähigkeit von Large Multimodal Models (LMMs), spezifische visuelle Regionen bas-ierend auf natürlichen Sprachinstruktionen zu lokalisieren – ist entscheidend für das Verständnis von Dokumenten, tiefe Recherche und Fehlererkennung. Bestehende LMMs haben jedoch Schwierigkeiten mit präzisem Grounding in textreichen Dokumentbildern. Im Gegensatz zu natürlichen Bildern weisen Dokumente eine hohe Elementdichte, reiche Template-Diversität und komplexe Layouts auf. Aktuelle Modelle scheitern oft daran, kritische Elemente (Wörter, Phrasen, Zeilen) genau zu lokalisieren, was zu „halluzinierter“ Argumentation führt, bei der sich das Modell auf unzusammenhängende Regionen konzentriert. Dieser Mangel behindert das visuelle begründete Reasoning (visual grounded reasoning), einen Prozess, bei dem ein LMM spezifische räumliche Koordinaten als Beweis für seine textliche Argumentation anführen muss. Zudem mangelt es bestehenden Datensätzen an der Granularität und Diversität (z. B. synthetische, handschriftlich ausgefüllte Dokumente), die erforderlich sind, um Modelle für diese anspruchsvollen Szenarien zu trainieren, und es existiert keine vollständige Trainingspipeline, die Grounding und Reasoning mittels Reinforcement Learning (RL) gemeinsam optimiert.

Methodik

Das Paper stellt PreciseDoc vor, ein LMM, das für präzises Element-Grounding konzipiert ist, sowie PreciseDoc-Reasoner, seine optimierte Variante für visuelles begründetes Reasoning. Die Methodik gliedert sich in drei Kernkomponenten:

1. Hochwertige Datengenerierungspipelines

Um den Mangel an hochwertigen Grounding-Daten zu beheben, konstruierten die Autoren zwei automatisierte Dokumentengenerierungs-Engines:

LaTeX-basierte Engine: Kompiliert LaTeX-Quellcodes zu nativen PDFs. Während der Kompilierung wird ein benutzerdefinierter Befehl (\marktext) eingefügt, um präzise räumliche Koordinaten (konvertiert von Punkten in Pixel) für den umschlossenen Text zu erfassen. Diese Engine unterstützt die Massenproduktion diverser Lebenslauf-Templates und anderer Dokumenttypen.
Handschrift-Datengenerierung-Engine: Synthetisiert handschriftlich ausgefüllte Dokumente mit Kameraeffekten (z. B. Filter, Degradation), um reales Scannen zu simulieren. Sie setzt einzelne Zeichenproben aus dem NIST-Datensatz zusammen, um kohärente Texte zu bilden, wobei Platzhalter für Werte reserviert werden, die von einem VLM generiert werden. Diese Pipeline adressiert das Fehlen von Datensätzen für das Grounding von handschriftlichen Dokumenten.
Aufgabenkonstruktion: Diese Engines generieren gepaarte Dokumente und Metadaten für zwei Aufgaben: Pure Grounding (Lokalisierung spezifischer Phrasen oder Elemente) und Information Extraction (Lokalisierung von Gruppen von Elementen, wie z. B. „Berufserfahrung“ in einem Lebenslauf).

2. Trainingspipeline: Von Cold-Start zu Reinforcement Learning

Das Training von PreciseDoc-Reasoner folgt einem zweistufigen Paradigma:

Stufe 1: Cold-Start Initialisierung (SFT): Das Modell wird auf einem kuratierten 27K VQA-Datensatz feinjustiert (abgeleitet von BBox-DocVQA und DOGR). Dieser Datensatz enthält Reasoning-Trajektorien, bei denen das Modell angewiesen wird, neben seinem Denkprozess und der finalen Antwort Bounding-Box-Koordinaten (entweder auf Token- oder Elementebene) zu generieren. Die Daten werden durch die Erweiterung von Token-Level-Boxen zu Element-Level-Boxen konstruiert und annotiert, um sicherzustellen, dass das VLM die Boxen aktiv für das Reasoning nutzt, anstatt sie nur als ergänzende Tags zu behandeln.
Stufe 2: Reinforcement Learning (RL): Das Modell durchläuft ein gemeinsames RL-Training, um sowohl die Genauigkeit des Reasonings als auch das zwischenzeitliche Grounding zu überwachen.
- Reward-Design: Der Gesamt-Reward $R$ kombelt einen Antwortgenauigkeits-Reward ( $R_{acc}$ ) und einen dualen Intersection-over-Union (IoU) Reward ( $R_{IoU}$ ).
- Hungarische Algorithmus zur Zuordnung: Im Gegensatz zu bisherigen Methoden, die ein Many-to-Many-Mapping verwenden (was Metriken aufblähen kann), nutzen die Autoren den Hungarischen Algorithmus, um eine optimale One-to-One-Zuordnung zwischen vorhergesagten und Ground-Truth-Boxen herzustellen. Dies maximiert den Gesamt-IoU unter Einhaltung strikter Mapping-Beschränkungen.
- Längenstrafe: Eine strikte Strafe wird auf nicht übereinstimmende generierte Boxen angewendet, um das Modell daran zu hindern, redundante oder übermäßige Bounding-Boxen zu produzieren, um den IoU-Score zu „manipulieren“.

Zentrale Beiträge

Dokumentengenerierungs-Engines: Die Einführung zweier Pipelines, die in der Lage sind, hochwertige Dokumente mit gepaarten, feingranularen räumlichen Metadaten in Massenproduktion zu erstellen, einschließlich synthetischer, handschriftlich ausgefüllter Dokumente mit Kameraeffekten.
PreciseDoc Modell: Ein LMM, das eine State-of-the-Art (SOTA) Leistung im Dokumenten-Text-Grounding erzielt und reale Funktionen wie das Auffinden persönlicher Informationen in Lebensläufen beherrscht, womit es spezialisierte Modelle übertrifft.
PreciseDoc-Reasoner & Trainingsparadigma: Die erste vollständige Trainingspipeline (SFT zu RL) für visuelles begründetes Reasoning in Dokumenten. Sie führt einen neuartigen RL-Reward-Mechanismus unter Verwendung des Hungarischen Algorithmus für das One-to-One-Box-Matching und eine Längenstrafe ein, um präzise, nicht-redundante Evidenzlokalisierung zu gewährleisten.

Experimentelle Ergebnisse

Die vorgeschlagenen Modelle wurden auf mehreren Benchmarks evaluiert:

DocLocal4K (Text Grounding): PreciseDoc erreichte eine Gesamtgenauigkeit von 81,79 % und übertraf damit starke Baselines wie Doubao-Seed-2.0-Pro (54,45 %) und DocOwl-1.5 (80,38 %). Es zeigte eine überlegene Leistung bei Elementen mit geringer Granularität (Wörter, Phrasen, Zeilen).
TRIG (Word-Level Grounded Reasoning): PreciseDoc-Reasoner erreichte einen durchschnittlichen IoU von 46,42 % und übertraf damit alle anderen Open-Source- und proprietären Modelle (z. B. Qwen3.5-27B mit 20,03 %, Gemini-3-Pro mit 30,26 %) signifikant. Es zeigte besondere Stärken beim Verständnis von Diagrammen und verdoppelte damit die Leistung des zweitbesten Modells.
BBox-DocVQA (Element-Level Grounded Reasoning): Das Modell erreichte eine Grounding-Genauigkeit von 51,16 % und eine Antwortgenauigkeit von 75,97 %. Es übertraf alle gelisteten Open-Source-LMMs (einschließlich des 235B Parameter starken Qwen3VL) und belegte den zweiten Platz hinter Gemini-3-Flash unter den proprietären Modellen.
Traditionelle Benchmarks: Auf DocVQA, ChartQA und TextVQA demonstrierte PreciseDoc-Reasoner eine wettbewerbsfähige Leistung und erzielte Ergebnisse, die vergleichbar mit oder besser als die größerer Modelle wie Qwen3.5-9B sind, obwohl es nicht auf massiven allgemeinen VQA-Datensätzen trainiert wurde.

Bedeutung und Ansprüche

Das Paper behauptet, dass PreciseDoc die Lücke zwischen Dokumentenverständnis und präziser räumlicher Lokalisierung erfolgreich schließt. Durch die Konstruktion herausfordernder, hochgetreuer Trainingsdaten und die Einführung eines rigorosen RL-Trainingsparadigmus mit One-to-One-Box-Matching zeigen die Autoren, dass LMMs effektiv darauf trainiert werden können, verifizierbare visuelle Beweise zu liefern. Die Arbeit hebt hervor, dass präzises Grounding nicht bloß ein Vorverarbeitungsschritt ist, sondern eine kritische Komponente des Reasoning-Prozesses, die Halluzinationen verhindert und die Interpretierbarkeit erhöht. Die Autoren positionieren ihren Ansatz als einen grundlegenden Schritt hin zu zuverlässigeren, evidenzbasierten Dokumentenanalysesystemen und merken an, dass die vorgeschlagenen Methoden und Datengenerierungspipelines eine skalierbare Lösung für zukünftige Fortschritte in der Dokumenten-KI bieten.