💻 computer science

FastTab: A Fast Table Recognizer with a Tiny Recursive Module and 1D Transformers

FastTab ist ein Modell zur Erkennung von Tabellenstrukturen mit niedriger Latenz, das ein leichtgewichtiges Tiny Recursive Module für das globale Reasoning mit axialen 1D-Transformern kombiniert, um Gitterstrukturen und Zellüberschneidungen präzise vorherzusagen, ohne auf eine autoregressive HTML-Decodierung angewiesen zu sein.

Ursprüngliche Autoren: Laziz Hamdi, Amine Tamasna, Pascal Boisson, Thierry Paquet

Veröffentlicht 2026-05-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Laziz Hamdi, Amine Tamasna, Pascal Boisson, Thierry Paquet

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie erhalten eine unordentliche, handgezeichnete Karte einer Stadt. Ihre Aufgabe besteht darin, sie auf einem Computer perfekt neu zu zeichnen, indem Sie herausfinden, wo genau jede Straße (Zeile) und jeder Avenue (Spalte) verläuft, welche Gebäude miteinander verschmolzen sind und welche Straßen lediglich Überschriften darstellen. Dies ist die Herausforderung der Tabelle-Struktur-Erkennung (Table Structure Recognition, TSR): ein Bild einer Tabelle in ein sauberes, digitales Gitter zu verwandeln.

Die meisten aktuellen KI-Modelle versuchen, dieses Problem zu lösen, wie ein Romanautor, der eine Geschichte Wort für Wort schreibt (indem er HTML-Code generiert). Dies ist langsam und anfällig dafür, mitten im Satz den Faden zu verlieren.

FastTab ist ein neues, superschnelles KI-Modell, das einen anderen Ansatz verfolgt. Anstatt eine Geschichte zu schreiben, agiert es wie ein Vermesser mit einem Laser-Gitter. So funktioniert es, aufgeteilt in einfache Konzepte:

1. Das „kleine Gehirn" (Das kleine rekursive Modul)

Stellen Sie sich vor, Sie betrachten eine Tabelle aus der Ferne. Sie müssen wissen: „Wie viele Zeilen gibt es? Wie viele Spalten? Wo ist die Überschrift?"

Der alte Weg: Die KI könnte versuchen, diese Details zu erraten, indem sie jedes einzelne Pixel einzeln betrachtet, was ermüdend ist.
FastTabs Weg: Es verwendet ein kleines rekursives Modul (Tiny Recursive Module, TRM). Stellen Sie sich dies als einen winzigen, superschlauen Assistenten vor, der das gesamte Bild betrachtet, eine schnelle Schätzung abgibt, dann das Bild erneut betrachtet, um diese Schätzung zu verfeinern, und dies einige Male (etwa 6 Mal) wiederholt.
Die Analogie: Es ist wie das Zusammenkneifen der Augen bei einem unscharfen Foto, dann das noch stärkere Zusammenkneifen und schließlich das Anpassen der Brille. Nach ein paar schnellen „Zusammenkneifungen" weiß der Assistent genau, wie groß die Tabelle ist und wo die Überschriften liegen, ohne jedes einzelne Wort lesen zu müssen.

2. Die „eindimensionalen Scanner" (Axiale 1D-Transformer)

Sobald die KI die allgemeine Größe kennt, muss sie die Linien ziehen.

Das Problem: Tabellen haben lange Zeilen und lange Spalten. Wenn Sie die gesamte Tabelle auf einmal betrachten, ist es, als würden Sie versuchen, ein ganzes Buch auf einen Blick zu lesen.
FastTabs Weg: Es teilt das Problem auf. Es verwendet 1D-Transformer, um die Tabelle in zwei separaten Durchläufen zu scannen:
1. Zeilen-Scanner: Er betrachtet nur horizontal, wie ein Laserstrahl, der über eine Zeile fährt, um zu finden, wo die vertikalen Linien verlaufen sollten.
2. Spalten-Scanner: Er betrachtet nur vertikal, wie ein Laserstrahl, der eine Spalte hinunterfährt, um zu finden, wo die horizontalen Linien verlaufen sollten.
Die Analogie: Stellen Sie sich einen Bibliothekar vor, der Bücher ordnet. Anstatt das ganze Regal auf einmal zu betrachten, scannt er eine Reihe von Büchern, um die Lücken zu finden, und scannt dann eine Reihe von Regalen, um die Lücken zu finden. Dies ist viel schneller und verhindert, dass die KI durch das gesamte Bild auf einmal verwirrt wird.

3. Der „verschmolzene Zellen-Detektiv" (ROI-ausgerichtete Pooling)

Manchmal erstreckt sich eine Zelle in einer Tabelle über zwei oder drei Spalten (eine „verschmolzene Zelle").

Der alte Weg: Die KI könnte zufällig erraten, wo die Verschmelzung stattfindet.
FastTabs Weg: Sobald die Gitterlinien gezogen sind, betrachtet die KI nur die spezifische Box, in der eine Zelle beginnt (die obere linke Ecke). Sie fragt: „Erstreckt sich diese Zelle nach rechts? Erstreckt sie sich nach unten?"
Die Analogie: Es ist wie ein Immobilienmakler, der die Grundstücksgrenzen bereits auf einer Karte eingezeichnet hat. Er muss nur vor der Haustür eines Hauses stehen und fragen: „Deckt dieses Haus zwei Grundstücke ab?" Er muss nicht das gesamte Grundstück ablaufen, um es zu wissen.

Warum ist das eine große Sache?

Geschwindigkeit: Da es keine lange Geschichte (HTML-Code) Wort für Wort schreibt, ist es unglaublich schnell. Das Papier behauptet, es könne Tabellen in Echtzeit verarbeiten (etwa 40+ Bilder pro Sekunde auf leistungsstarken Computern und immer noch über 4 Bilder pro Sekunde auf normalen Laptops).
Genauigkeit: Es ist genauso gut wie die langsamen, komplexen Modelle darin, die Struktur korrekt zu erfassen.
Robustheit: Die Autoren haben es an „anonymisierten" Tabellen getestet (wo der Text schwärzt oder unscharf gemacht ist, um Geheimnisse zu verbergen). FastTab funktioniert immer noch gut, weil es sich auf die Form und die Linien der Tabelle konzentriert, nicht auf die Wörter darin.
Gekrümmte Tabellen: Sie zeigten sogar, dass es Tabellen bewältigen kann, die leicht gebogen oder gekrümmt sind (wie ein Foto einer Tabelle auf einer gekrümmten Oberfläche), indem es den „Laserlinien" erlaubt, sich leicht zu biegen.

Zusammenfassung

FastTab ist wie eine Hochgeschwindigkeits-Baucrew. Anstatt eine Tabelle Ziegel für Ziegel (Wort für Wort) zu bauen, tun sie Folgendes:

Sie nutzen einen schnellen Teamleiter (TRM), um die Grundrissgröße festzulegen.
Sie schicken Laserscanner (1D-Transformer), um die geraden Linien für Zeilen und Spalten zu ziehen.
Sie lassen einen Spezialisten die Ecken prüfen, um zu sehen, ob Blöcke verschmolzen sind.

Das Ergebnis ist eine digitale Tabelle, die in einem Bruchteil einer Sekunde mit hoher Präzision erstellt wird, selbst wenn das Originalfoto etwas unordentlich ist oder der Text verborgen ist.

Technischer Zusammenfassung: FastTab

Problemdefinition
Die Erkennung von Tabellenstrukturen (Table Structure Recognition, TSR) zielt darauf ab, die logische Organisation von Tabellen (Zeilen, Spalten, Kopfzeilen und zusammengeführte Zellen) sowie deren geometrische Genauigkeit aus Dokumentenbildern wiederherzustellen. Diese Aufgabe ist aufgrund der Notwendigkeit schwierig, globale strukturelle Kohärenz (z. B. Gesamtzahl der Zeilen/Spalten, Ausdehnung der Kopfzeilen) mit lokaler räumlicher Präzision (z. B. Lokalisierung von Trennlinien, layouts ohne Rahmen) in Einklang zu bringen. Bestehende Paradigmen haben oft Schwierigkeiten, diese Anforderungen auszubalancieren: komponentenbasierte Methoden verlassen sich auf explizite Detektion und Rekonstruktion, Split-and-Merge-Ansätze konzentrieren sich auf den Gitteraufbau, und generative Modelle (Bild-zu-Sequenz) bilden Bilder auf HTML-Token ab. Letztere sind zwar effektiv, verursachen jedoch hohe Rechenkosten aufgrund autoregressiver Dekodierung und erfordern die Aufrechterhaltung einer globalen syntaktischen Konsistenz während des gesamten Sequenzgenerierungsprozesses.

Methodik
FastTab ist ein gitterzentriertes TSR-Modell, das darauf ausgelegt ist, autoregressive HTML-Dekodierung zu vermeiden. Es arbeitet in einem einzigen Vorwärtspass, um ein Tabellengitter und zusammengeführte Zellspannen vorherzusagen. Die Architektur besteht aus drei Hauptkomponenten:

Bild-Encoder: Ein vollständig convolutionales Netzwerk (FCN) extrahiert eine hochauflösende 2D-Feature-Karte ( $F$ ). Der Encoder verwendet einen anisotropen Stride-Plan ( $H/16, W/8$ ), um eine feinere horizontale Abtastung für die Spaltendefinition zu erhalten, und gibt 1024 Kanäle aus.
Globale Schlussfolgerung (Tiny Recursive Module - TRM): Um tabellenweite Entscheidungen (Anzahl der Zeilen/Spalten, Kopfzeilen) zu unterstützen, berechnet FastTab einen globalen Deskriptor durch Average Pooling. Dieser wird über $T$ Residualschritte (Standard $T=6$ ) unter Verwendung eines leichten Tiny Recursive Module verfeinert. Das TRM aktualisiert iterativ einen latenten Vektor $z$ unter Verwendung eines zweischichtigen MLP, konditioniert auf den globalen Deskriptor, um langreichweitige Abhängigkeiten zu erfassen, die für konsistente strukturelle Entscheidungen notwendig sind.
Axiale 1D-Transformer (Lines Head): Anstatt die gesamte 2D-Karte für Trennlinien zu verarbeiten, projiziert das Modell $F$ $F$ in zwei 1D-Sequenzen (zeilenweise und spaltenweise) durch Mittelwertbildung entlang der orthogonalen Dimension. Diese Sequenzen werden von leichten 1D-Transformer-Encodern (2 Schichten, 4 Köpfe) verarbeitet, um langreichweitige Abhängigkeiten entlang jeder Achse mit linearem Wachstum der Rechenkosten zu erfassen. Der Head sagt voraus:
- Zeilen- und Spaltenanzahl ( $R, C$ ).
- Anzahl der Kopfzeilen ( $H_{hdr}$ ).
- Positionen der Trennlinien, parametrisiert als normalisierte Intervalllängen und durch kumulative Summation in geordnete Grenzen umgewandelt.
Spanning Head: Sobald die Gittergrenzen festgelegt sind, poolt ROI Align Features für jede logische Zelle. Ein Multi-Layer Perceptron (MLP) klassifiziert die Zeilen- und Spaltenüberschreitung (rowspan und colspan) für jede Zelle, wobei nur an Ankerpositionen (oben-links) überwacht wird, um Mehrdeutigkeiten in zusammengeführten Bereichen zu vermeiden.

Hauptbeiträge

Architektur: Einführung von FastTab, das ein Tiny Recursive Module für den globalen Kontext mit axialen 1D-Transformern für eine effiziente langreichweitige Zeilen-/Spaltenschlussfolgerung kombiniert und den Overhead autoregressiver Decoder vermeidet.
Leistung: Demonstration einer wettbewerbsfähigen Leistung bei der Wiederherstellung von Strukturen über vier Benchmarks hinweg (PubTabNet, FinTabNet, PubTables-1M und SciTSR) bei gleichzeitig niedriger Latenz (Echtzeit-Inferenz).
Robustheitsanalyse: Bewertung des Modells unter praktischen Einschränkungen, insbesondere pixelweise Anonymisierung (zeigt Resilienz gegenüber layouterhaltender Verschleierung) und eine Erweiterung auf gekrümmte Trennlinien zur Behandlung geometrischer Verzerrungen wie Rotation.
Ablationsstudien: Systematische Analyse bestätigt, dass die iterative Verfeinerung durch TRM über $T=6$ hinaus abnehmende Grenzerträge liefert und dass axiale 1D-Aufmerksamkeit lokale convolutionale Baselines mit minimalem Geschwindigkeitsnachteil signifikant übertrifft.

Experimentelle Ergebnisse
FastTab wurde an Standard-Benchmarks unter Verwendung von Struktur-metriken (nur Struktur) (S-TEDS, GriTSTop, CAR F1) evaluiert:

PubTabNet: Erzielte 96,8 % S-TEDS mit 44,89 FPS (A100 GPU) und übertraf viele hochgenaue Modelle in der Geschwindigkeit, während die Genauigkeit wettbewerbsfähig blieb. Es läuft auch mit ca. 5 FPS in reinen CPU-Umgebungen.
FinTabNet: Erzielte 98,2 % S-TEDS mit 41,79 FPS.
PubTables-1M: Erzielte 98,27 % GriTSTop mit 39,50 FPS.
SciTSR: Erreichte die beste gemeldete Genauigkeit (99,5 % CAR F1) mit 35,51 FPS.
Anonymisierung: Das Modell zeigte Robustheit gegenüber layouterhaltender Anonymisierung (z. B. Gaußscher Weichzeichner, Pixelierung), verschlechterte sich jedoch erheblich bei Methoden, die Textbereiche homogenisieren (z. B. Medianfüllung).
Gekrümmte Trennlinien: Eine Erweiterung, die Polylinien-Grenzen für Trennlinien vorhersagt, behielt unter moderaten in-plane-Rotationen (bis zu $\pm 15^\circ$ ) eine starke Leistung bei, obwohl die Leistung bei größeren Rotationen abnahm.

Bedeutung und Behauptungen
Die Arbeit positioniert FastTab als effiziente Alternative sowohl zu mehrstufigen Rekonstruktionspipelines als auch zu autoregressiven generativen Modellen. Durch die Entkopplung der globalen Kontextschlussfolgerung (via TRM) von der axialen Abhängigkeitsmodellierung (via 1D-Transformer) erreicht FastTab einen günstigen Kompromiss zwischen Genauigkeit und Inferenzgeschwindigkeit. Die Autoren behaupten, dass das Modell erfolgreich die Spannung zwischen globaler struktureller Kohärenz und lokaler räumlicher Präzision adressiert, ohne die Rechenlast einer vollständigen 2D-Selbstaufmerksamkeit oder autoregressiver Dekodierung. Die Arbeit legt nahe, dass für viele praktische Anwendungen, die eine Echtzeit- oder ressourcenbeschränkte Bereitstellung erfordern, ein gitterzentrierter Ansatz mit spezialisierter axialer Modellierung ausreicht, um komplexe Tabellenstrukturen mit hoher Genauigkeit wiederherzustellen. Als zukünftige Arbeiten werden die Erweiterung des Modells auf Seiten mit mehreren Tabellen, die Verbesserung der Robustheit gegenüber starken perspektivischen Verzerrungen und die Entwicklung adaptiver Gitterdekodierung für sehr große Tabellen identifiziert.