💬 NLP

Decoupling Skeleton and Flesh: Efficient Multimodal Table Reasoning with Disentangled Alignment and Structure-aware Guidance

Dieser Beitrag stellt DiSCo und Table-GLS vor, ein neuartiges Framework, das die Tabellenreasoning-Fähigkeiten von Large Vision-Language-Modellen effizient verbessert, indem es strukturelle und semantische Ausrichtung entkoppelt und eine strukturgeführte Inferenz einsetzt, und zwar alles ohne die Notwendigkeit kostspieliger überwachter Trainings oder externer Werkzeuge.

Ursprüngliche Autoren: Yingjie Zhu, Xuefeng Bai, Kehai Chen, Yang Xiang, Youcheng Pan, Xiaoqiang Zhou, Min Zhang

Veröffentlicht 2026-05-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yingjie Zhu, Xuefeng Bai, Kehai Chen, Yang Xiang, Youcheng Pan, Xiaoqiang Zhou, Min Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten, gut gebildeten Roboter (ein Large Vision-Language Model) beizubringen, wie man eine unordentliche, komplexe Tabelle liest. Der Roboter ist hervorragend darin, Bücher zu lesen und Bilder zu betrachten, doch wenn er eine Tabelle sieht, gerät er in Verwirrung. Er versucht, das Ganze auf einmal zu erfassen und vermischt dabei die Form der Tabelle (wo sich Zeilen und Spalten befinden) mit den Wörtern innerhalb der Zellen. Es ist, als würde man versuchen, den Aufbau einer neuen Stadt zu lernen und gleichzeitig jedes einzelne Straßenschild auswendig zu lernen; das Gehirn wird überlastet.

Dieser Artikel stellt eine neue Methode vor, dem Roboter beizubringen, genannt DISCO und Table-GLS, die wie ein zweistufiger „Entkopplungs"-Prozess funktioniert.

Das Problem: Das „verwickelte" Durcheinander

Aktuelle Methoden versuchen, dem Roboter beizubringen, indem sie ihm ein Tabellenbild und seine Textversion (wie HTML oder Markdown) gleichzeitig zeigen. Der Artikel argumentiert, dass dies wie der Versuch ist, Autofahren zu lernen, indem man gleichzeitig auf den Motor und das Lenkrad starrt. Der Roboter hat Schwierigkeiten, das Gerüst (die Gitterlinien, Zeilen und Spalten) vom Fleisch (die eigentlichen Zahlen und Wörter) zu trennen. Da sie so eng miteinander vermischt sind, rät der Roboter oft falsch oder verirrt sich in komplexen Tabellen, die er zuvor noch nie gesehen hat.

Die Lösung: „Entkopplung von Gerüst und Fleisch"

Die Autoren schlagen einen Rahmen vor, der diese beiden Aufgaben trennt, ähnlich wie ein Architekt zuerst die Baupläne (Gerüst) zeichnet, bevor der Innenarchitekt die Möbel (Fleisch) auswählt.

Schritt 1: DISCO (Der Architekt)

DISCO steht für Disentangled Structure–Content Orientation. Es lehrt den Roboter, eine Tabelle in zwei distincten Phasen zu betrachten:

Lernen des Gerüsts (Strukturausrichtung): Dem Roboter wird ein Tabellenbild gezeigt, aber der gesamte Text im Inneren wird durch einen generischen Platzhalter wie „Inhalt" ersetzt. Der Roboter wird aufgefordert, nur die Form zu beschreiben: „Diese Tabelle hat 5 Zeilen und 3 Spalten. Oben befindet sich eine Kopfzeile." Er lernt das Layout, ohne durch die spezifischen Wörter abgelenkt zu werden.
Lernen des Fleisches (Inhaltsausrichtung): Sobald der Roboter die Form kennt, wird ihm beigebracht, die Lücken zu füllen. Er lernt zu sagen: „In Zeile 1, Spalte 2 steht das Wort 'Apfel'."

Durch die Trennung dieser Aufgaben lernt der Roboter zuerst die „Karte" der Tabelle und lernt dann, die „Landmarken" auf dieser Karte zu lesen. Dies macht ihn viel besser darin, Tabellen zu verstehen, die er zuvor noch nie gesehen hat.

Schritt 2: Table-GLS (Der Detektiv)

Sobald der Roboter die Tabelle besser versteht, führen die Autoren Table-GLS (Global-to-Local Structure-guided reasoning) ein. Dies ist eine neue Art für den Roboter, Fragen zu beantworten, ohne teure Werkzeuge oder zusätzliches Training zu benötigen.

Stellen Sie sich dies wie einen Detektiv vor, der ein Rätsel löst:

Globale Erkundung: Statt direkt in die Details einzutauchen, betrachtet der Detektiv zuerst die gesamte Tatortszene (die gesamte Tabelle), um herauszufinden, wo die Hinweise liegen könnten. „Ich muss die Spalte 'Umsatz' und die Zeile '2023' betrachten."
Selbstverfeinerung: Der Detektiv macht eine Pause und fragt: „Habe ich die richtigen Hinweise ausgewählt? Brauche ich mehr?" Wenn der Plan falsch ist, korrigiert er ihn, bevor er weitermacht.
Lokale Extraktion und Schlussfolgerung: Schließlich schneidet der Detektiv nur das winzige Papierstück (die Subtabelle) mit den relevanten Hinweisen aus und löst das mathematische oder logische Problem unter Verwendung nur dieses kleinen Stücks.

Dies verhindert, dass der Roboter durch irrelevante Daten verwirrt wird oder Fakten erfindet, weil er zu viele Informationen auf einmal betrachtet.

Warum dies wichtig ist

Der Artikel behauptet, dieser Ansatz sei effizient und leichtgewichtig:

Keine schweren Werkzeuge: Es werden keine externen Softwareprogramme oder komplexer Code benötigt, um zu funktionieren; der Roboter erledigt alles selbst.
Weniger Daten erforderlich: Es werden hervorragende Ergebnisse mit nur 10.000 Beispielen erzielt, während andere Methoden 100.000 oder mehr benötigen könnten.
Bessere Generalisierung: Da es das „Gerüst" separat lernt, kann es mit seltsamen, komplexen oder bisher nicht gesehenen Tabellenlayouts viel besser umgehen als frühere Methoden.

Das Ergebnis

In ihren Tests half diese neue Methode dem Roboter, Tabellen erheblich besser zu verstehen und zu reasoning als zuvor. Sie war besonders gut darin:

Bestimmte Zellen in einem Gitter zu finden.
Fragen zu komplexen Finanz- oder wissenschaftlichen Tabellen zu beantworten.
Mit Tabellen umzugehen, die er zuvor noch nie gesehen hatte (unbekannte Strukturen).

Kurz gesagt, lehrt der Artikel den Roboter, aufzuhören, die gesamte Tabelle auf einmal zu verschlingen. Stattdessen lehrt er den Roboter, zuerst das Gitter zu verstehen, dann das spezifische Puzzleteil zu finden, das er benötigt, und schließlich das Problem mit diesem spezifischen Stück zu lösen. Dies macht den Roboter intelligenter, schneller und zuverlässiger im Umgang mit Datentabellen.

Technische Zusammenfassung: Entkopplung von Skelett und Fleisch: Effizientes multimodales Tabellenreasoning mit entkoppelter Ausrichtung und strukturaware Führung

Problemstellung

Das Reasoning über Tabellensbilder bleibt eine erhebliche Herausforderung für Large Vision-Language Models (LVLMs) aufgrund komplexer Layouts und der eng gekoppelten Natur struktureller Informationen (Zeilen, Spalten, Layout) und semantischer Inhalte (Zellenwerte). Bestehende Ansätze zur Anpassung von LVLMs für das Tabellenreasoning fallen im Allgemeinen in zwei Kategorien, die beide Einschränkungen aufweisen:

Supervised Fine-Tuning (SFT) oder Reinforcement Learning (RL): Diese Methoden erfordern oft umfangreiche, teure Expertenannotationen für Tabellendaten. Sie bergen das Risiko des katastrophalen Vergessens der ursprünglichen Fähigkeiten des Modells und leiden unter hohen Trainingskosten.
Tool-Augmented Reasoning: Diese Methoden verlassen sich auf externe Werkzeuge (z. B. visuelle Editoren, symbolische Ausführe, Tabellendparser), um Aufmerksamkeit und Reasoning explizit zu steuern. Obwohl sie effektiv sind, erhöhen sie die Systemkomplexität, die Inferenzlatenz und versagen darin, die intrinsische Kapazität des Modells zum strukturellen Verständnis zu verbessern.

Die zentrale Forschungsfrage lautet: Wie können LVLMs mit minimalen Annotationskosten und ohne Abhängigkeit von externen Werkzeugen an das Tabellenreasoning angepasst werden?

Methodik

Die Autoren schlagen einen effizienten Rahmen vor, der aus zwei Hauptkomponenten besteht: DISCO (Disentangled Structure–Content alignment) und Table-GLS (Global-to-Local Structure-guided reasoning).

1. DISCO: Entkoppelte Struktur-Inhalt-Ausrichtung

Die Kernidee von DISCO besteht darin, die strukturelle Abstraktion explizit von der semantischen Verankerung während der multimodalen Ausrichtung zu trennen. Anstatt Tabellensbilder mit linearisiertem Text (z. B. HTML, Markdown) auszurichten, bei dem Struktur und Inhalt verflochten sind, zerlegt DISCO die Ausrichtung in komplementäre Ziele:

Struktur-Ausrichtung: Das Modell wird trainiert, eine Strukturdarstellung ( $T_S$ ) vorherzusagen, die durch Anonymisierung aller Zellinhalte in der textuellen Darstellung (Ersetzung durch einen Platzhalter-Token) abgeleitet wird, während Layout-Token (Trennzeichen, Kopfzeilen, Span-Marker) erhalten bleiben. Dies zwingt das LVLM, Tabelllayouts unabhängig von Zellsemantik zu lernen.
Inhalt-Ausrichtung: Diese wird weiter in zwei Ebenen unterteilt, um Semantik auf die gelernte Struktur zu verankern:
- Globale Inhalt-Ausrichtung: Das Modell generiert eine leichte, halbstrukturierte Beschreibung der Tabelle, einschließlich der Gesamtzahl der Zeilen/Spalten und einer Zusammenfassung der Zeilen-/Spalteninhalte.
- Lokale Inhalt-Ausrichtung: Das Modell wird trainiert, den textuellen Inhalt zu identifizieren und zu beschreiben, der mit spezifischen strukturellen Koordinaten verbunden ist (z. B. „Zeile $m$ Spalte $n$ : [Inhalt]").

Diese Entkoppelung ermöglicht es LVLMs, ihr bestehendes semantisches Verständnis mit minimaler zusätzlicher Überwachung auf Tabellstrukturen zu übertragen.

2. Table-GLS: Global-zu-Lokal Struktur-geführtes Reasoning

Aufbauend auf den verbesserten Darstellungen von DISCO ist Table-GLS ein trainingsfreies, werkzeugfreies Inferenzframework, das das LVLM durch einen dreistufigen Reasoning-Prozess führt:

Globale Strukturerkundung: Gegeben ein Tabellensbild und eine Frage analysiert das Modell das Gesamtlayout, um aufgabenrelevante Zeilen- und Spaltenindizes ( $R$ und $C$ ) zu identifizieren und einen Reasoning-Plan ( $T_t$ ) zu formulieren. Dies erzwingt eine „Wo-hin-schauen"-Entscheidung vor der Inhaltsextraktion.
Selbstverfeinerte Subtabelle-Extraktion: Das Modell bewertet die Angemessenheit des initialen Plans. Falls erforderlich, revidiert es den Plan und extrahiert eine minimale Subtabelle ( $T_{sub}$ ), die nur die Beweise enthält, die zur Beantwortung der Frage erforderlich sind. Dieser Schritt umfasst Selbstreflexion, um die Ausbreitung von Fehlern zu verhindern.
Evidenzbasiertes Reasoning: Die endgültige Antwort wird durch Reasoning über die extrahierte Subtabelle als überprüfbare Evidenz generiert, wobei das ursprüngliche Bild als zusätzlicher Kontext für die visuelle Verankerung beibehalten wird. Dies beschränkt das Reasoning auf aufgabenrelevante Daten und reduziert zufällige Korrelationen.

Hauptbeiträge

Die Arbeit beansprucht folgende Beiträge:

DISCO-Framework: Ein entkoppeltes Ausrichtungsframework, das das Verständnis von LVLMs für Tabellenstruktur und -inhalt verbessert, insbesondere für komplexe und unbeobachtete Layouts, indem es das Struktur-Lernen von der Inhaltsverankerung trennt.
Table-GLS-Framework: Eine global-zu-lokal Inferenzmethode, die genaues Tabellenreasoning zur Inferenzzeit ohne externe Werkzeuge oder zusätzliches Fine-Tuning ermöglicht und dabei einen strukturierten Erkundungs- und evidenzbasierten Ansatz nutzt.
Robuste Leistung: Die vorgeschlagenen Methoden erzielen robuste Verbesserungen über 21 Tabellenverständnis- und Reasoning-Aufgaben hinweg und zeigen eine starke Generalisierung auf unbeobachtete Tabellenstrukturen mit minimalen Daten (10K Bilder für die Ausrichtung).

Experimentelle Ergebnisse

Das Framework wurde an 21 Aufgaben über diverse Benchmarks hinweg evaluiert (z. B. MMTab, WTQ, HiTab, TAT-QA, TabFact, PubHealthTab) unter Verwendung verschiedener LVLMs (Gemma3, Qwen3-VL, LLaVA).

Tabellenverständnis: DISCO verbesserte die Leistung konsistent über alle evaluierten Modelle und Aufgaben hinweg. Bemerkenswerterweise erzielte es vergleichbare oder überlegene Ergebnisse zu Modellen, die auf 97K Bildern trainiert wurden, unter Verwendung von nur 10K Bildern für die Ausrichtung. Es zeigte besondere Stärke in struktursensitiven Aufgaben (Tabellengröße-Erkennung, Zellenlokalisierung) und Out-of-Distribution (OOD)-Einstellungen.
Tabellenreasoning: Die Kombination von DISCO mit Table-GLS ergab die besten Durchschnittswerte. Das Framework übertraf direkte Antwort-Baselines signifikant und erreichte oder übertraf stark optimierte LVLMs (z. B. Table-R1, HIPPO) bei mehreren Benchmarks, insbesondere OOD-Datensätzen wie AIT-QA und PubHealthTab.
Generalisierung: Die Methode verbesserte die Leistung bei nicht-tabularen Aufgaben (ScienceQA, HallusionBench) im Vergleich zur standardmäßigen textuellen Ausrichtung, was darauf hindeutet, dass entkoppelte Ausrichtung hilft, wiederverwendbare interne Darstellungen zu bilden, anstatt Über-Spezialisierung zu verursachen.
Effizienz: Obwohl Table-GLS eine mehrstufige Generierung beinhaltet, vermeidet es die hohe Latenz und Komplexität von werkzeugaugmentierten Methoden (z. B. REFOCUS) und erzielt einen günstigen Kompromiss zwischen Inferenzzeit und Genauigkeit.

Bedeutung und Behauptungen

Die Arbeit positioniert diese Forschung als skalierbare und dateneffiziente Lösung für multimodales Tabellenreasoning. Durch die Entkopplung von „Skelett" (Struktur) und „Fleisch" (Inhalt) demonstrieren die Autoren, dass LVLMs an komplexes tabulares Reasoning angepasst werden können, ohne die prohibitiven Kosten des großskaligen überwachten Trainings oder den architektonischen Overhead externer Werkzeuge. Das Framework aktiviert effektiv die intrinsischen Reasoning-Fähigkeiten von LVLMs, ermöglicht ihnen die Generalisierung auf unbeobachtete Tabellenstrukturen und erhält die Robustheit über diverse Layouts hinweg. Die Autoren schließen, dass die explizite Struktur-Inhalt-Modellierung und leichtgewichtiges, strukturgeführtes Reasoning Schlüssel zur Weiterentwicklung der LVLM-Leistung in strukturierten Datenbereichen sind.