💬 NLP

Unlimited OCR Works

Dieses Paper stellt Unlimited OCR vor, ein Modell, das die Standard-Decoder-Attention durch einen neuartigen Reference Sliding Window Attention (R-SWA)-Mechanismus ersetzt, um einen konstanten KV-Cache aufrechtzuerhalten und dadurch eine effiziente, einphasige Transkription von Dutzenden von Seiten ermöglicht, ohne die Speicher- und Geschwindigkeitsdegradation, die typischerweise durch lange Ausgabesequenzen in LLM-basierten OCR-Systemen verursacht wird.

Ursprüngliche Autoren: Youyang Yin, Huanhuan Liu, YY, Qunyi Xie, Chaorun Liu, Shiqi Yang, Shaohua Wang, Zhanlong Liu, Hao Zou, Jinyue Chen, Shu Wei, Jingjing Wu, Mingxin Huang, Zhen Wu, Guibin Wang, Tengyu Du, Lei Jia

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Youyang Yin, Huanhuan Liu, YY, Qunyi Xie, Chaorun Liu, Shiqi Yang, Shaohua Wang, Zhanlong Liu, Hao Zou, Jinyue Chen, Shu Wei, Jingjing Wu, Mingxin Huang, Zhen Wu, Guibin Wang, Tengyu Du, Lei Jia

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Gedächtnisüberlastung“ aktueller KI

Stellen Sie sich vor, Sie versuchen, ein 100-seitiges Buch von Hand abzuschreiben.

Wie Menschen es machen: Sie schauen in das Buch, schreiben einen Satz, werfen einen kurzen Blick auf die letzten paar Wörter, die Sie gerade geschrieben haben, um sicherzustellen, dass Sie auf dem richtigen Weg sind, und machen dann weiter. Sie müssen nicht jedes einzelne Wort erinnern, das Sie seit der ersten Seite geschrieben haben; Sie müssen nur wissen, wo Sie gerade sind. Ihr Gehirn lässt die ferne Vergangenheit natürlich „verblassen“, während es den unmittelbaren Kontext scharf hält.
Wie aktuelle KI es macht: Aktuelle KI-Modelle agieren wie ein Schüler, der sich weigert, irgendetwas zu vergessen. Jedes Mal, wenn sie ein neues Wort schreiben, versuchen sie, das gesamte Buch von der ersten Seite bis zur aktuellen Seite erneut zu lesen, um zu entscheiden, was sie als Nächstes schreiben sollen.
- Das Ergebnis: Je länger das Buch wird, desto langsamer wird der Schüler, weil er eine massive mentale Last trägt. Irgendwann geht ihm der Arbeitsspeicher (RAM) aus und er muss aufhören, zurücksetzen und auf einer neuen Seite wieder von vorne beginnen. Das ist der Grund, warum aktuelle KIs Schwierigkeiten haben, ein ganzes Buch in einem Rutsch zu verarbeiten; sie müssen es seitenweise erledigen, wie ein Roboter, der in einer Endlosschleife feststeckt.

Die Lösung: „Unlimited OCR“ und das „Sliding Window“

Die Forscher bei Baidu schlagen ein neues Modell namens Unlimited OCR vor. Sie wollten eine KI bauen, die eher wie ein menschlicher Kopierer denkt. Um dies zu erreichen, haben sie einen neuen Attention-Mechanismus namens Reference Sliding Window Attention (R-SWA) erfunden.

So funktioniert es, unter Verwendung einiger Analogien:

1. Das „Referenzbuch“ vs. das „Sliding Window“

Stellen Sie sich vor, die KI sitzt an einem Schreibtisch mit zwei Dingen:

Das Referenzbuch (Das Bild): Dies ist das Dokument, das gescannt wird. Die KI hält dieses die ganze Zeit offen auf dem Schreibtisch liegen. Sie vergisst das Originalbild nie.
Das Sliding Window (Die jüngste Vergangenheit): Anstatt die gesamte Historie dessen zu erinnern, was sie geschrieben hat, behält die KI nur einen kleinen „Notizzettel“ der letzten 128 Wörter, die sie generiert hat. Während sie ein neues Wort schreibt, fällt das älteste Wort vom Notizzettel herunter und das neue wird hinzugefügt.

Die Magie: Die KI schaut auf das Referenzbuch (um zu wissen, was sie kopieren soll) und auf das Sliding Window (um zu wissen, wo sie sich im Prozess befindet). Sie ignoriert den Rest der Historie. Dies hält ihre „mentale Last“ (Speicherverbrauch) konstant, egal ob sie 1 Seite oder 100 Seiten kopiert.

2. Der „Deep Squeeze“ (High-Compression Encoder)

Bevor die KI überhaupt mit dem Schreiben beginnt, muss sie das Bild betrachten.

Der alte Weg: Wenn Sie ein hochauflösendes Foto eines Buches haben, ist es so, als würde man versuchen, jedes einzelne Pixel zu beschreiben. Das nimmt enorm viel Platz ein.
Der Unlimited OCR Weg: Sie verwenden einen „Deep Squeeze“ (DeepEncoder). Stellen Sie sich vor, Sie nehmen ein hochauflösendes Foto und komprimieren es in eine winzige, effiziente Zusammenfassung, ohne die wichtigen Details zu verlieren. Das bedeutet, dass das „Referenzbuch“ sehr wenig Platz auf dem Schreibtisch einnimmt und der KI genügend Raum zum Arbeiten lässt.

Was haben sie erreicht?

Durch die Kombination des „Deep Squeeze“ mit dem „Sliding Window“ haben die Forscher drei Hauptdinge erreicht:

One-Shot Long-Horizon Parsing: Das Modell kann Dutzende von Seiten eines Dokuments in einem einzigen Durchgang verarbeiten. Es muss nicht anhalten und zurücksetzen. Es kann ein ganzes Buch von Anfang bis Ende in einem kontinuierlichen Fluss lesen.
Konstante Geschwindigkeit: Da die KI nicht versucht, die gesamte Historie zu erinnern, wird sie nicht langsamer, je länger das Dokument wird. Ob auf Seite 1 oder Seite 50 – sie schreibt mit der gleichen Geschwindigkeit.
Bessere Genauigkeit: Überraschenderweise hat die KI, indem sie sich nur auf den relevanten, aktuellen Kontext und das Originalbild konzentriert, tatsächlich weniger Fehler gemacht als die bisherigen besten Modelle. Sie hat sich nicht durch ihre eigene lange Historie verwirren lassen.

Der „Real-World“-Test

Die Forscher haben dies auf einem Benchmark namens OmniDocBench getestet.

Das Ergebnis: Unlimited OCR schnitt besser ab als fast alle anderen Modelle, einschließlich des Modells, auf dem es aufgebaut wurde (DeepSeek OCR).
Der Langform-Test: Sie fütterten das Modell mit Büchern mit über 40 Seiten. Das Modell behielt seine hohe Genauigkeit bei, was bewies, dass es sich in der Mitte des Buches nicht „verloren“ hat.

Was bedeutet das für die Zukunft?

Das Paper legt nahe, dass dies nicht nur für das Lesen von Büchern gedacht ist. Da die Logik des „Sliding Window“ so effizient ist, könnte sie auf andere Aufgaben angewendet werden, bei denen man über lange Zeit zuhören oder übersetzen muss, ohne müde oder langsam zu werden, wie zum Beispiel:

ASR (Automatische Spracherkennung): Stundenlange Audioaufnahmen transkribieren, ohne dass das System langsamer wird.
Übersetzung: Lange Dokumente in einem Durchgang übersetzen.

Zusammenfassung

Betrachten Sie Unlimited OCR als ein Upgrade einer KI von einem „fotografischen Gedächtnis“, das durch lange Aufgaben überfordert wird, hin zu einem „intelligenten Kopierer“, der genau weiß, was er sich merken muss (das Originalbild und die letzten paar Wörter) und was er sicher vergessen kann. Dies ermöglicht es ihr, schneller zu arbeiten, weniger Speicher zu verbrauchen und massive Dokumente zu verarbeiten, die für KIs früher unmöglich in einem Rutsch zu bearbeiten waren.

Technisches Resümee: Unlimited OCR

1. Problemstellung

Aktuelle End-to-End-Modelle zur optischen Zeichenerkennung (OCR), selbst solche, die Large Language Models (LLMs) als Decoder nutzen, stehen vor erheblichen Einschränkungen bei langfristigen Parsing-Aufgaben (z. B. der Transkription dutzender Seiten in einem einzigen Vorwärtsdurchgang).

Speicher- und Effizienzengpass: Standardmäßige Attention-Mechanismen erfordern, dass der Key-Value (KV)-Cache linear mit der Länge der Ausgabesequenz wächst. Mit zunehmender Sequenzlänge führt dies zu einem unkontrollierten Speicherverbrauch und progressiv langsameren Generationsgeschwindigkeiten aufgrund steigender Rechenkosten für die Attention.
Der „For-Loop“-Workaround: Bestehende Modelle verarbeiten Dokumente typischerweise seitenweise in einer Schleife und setzen den Speicher bei jedem Schritt zurück. Dies fragmentiert die Aufgabe in isolierte Kurzzeitprobleme, die von einem externen Scheduler verwaltet werden, wodurch das Modell daran scheitert, den kontinuierlichen kognitiven Zustand zu emulieren, den Menschen beim Transkribieren langer Texte aufweisen.
Visuelle Treue vs. Zustandsübergänge: Während lineare Attention-Mechanismen die Komplexität reduzieren, wenden sie oft rekursive Zustandsaktualisierungen auf visuelle Token an. Dies verursacht ein „progressives Verschwimmen“ der visuellen Merkmale, was die Erkennungsgenauigkeit verschlechtert.

2. Methodik

Das Paper schlägt Unlimited OCR vor, ein Modell, das darauf ausgelegt ist, das menschliche Arbeitsgedächtnis während langfristiger Kopieraufgaben zu emulieren. Es baut auf der DeepSeek OCR-Baseline auf, behält deren hocheffiziente Kompression im Encoder bei, verändert jedoch grundlegend den Attention-Mechanismus des Decoders.

Kernarchitektur

Baseline: Verwendet den DeepEncoder von DeepSeek OCR, der eine kaskadierte ViT-Architektur (SAM-ViT + CLIP-ViT) nutzt, um eine 16-fache Token-Kompression zu erreichen. Dies stellt sicher, dass visuelle Token einmal kodiert werden und statisch bleiben, wodurch die Notwendigkeit von Zustandsübergängen auf der Eingangsseite vermieden wird.
Decoder: Ein Mixture-of-Experts (MoE) LLM mit insgesamt 3 Mrd. Parametern und 500 Mio. aktivierten Parametern.
Zentrale Innovation: Alle Standard-Multi-Head-Attention (MHA) Schichten im Decoder werden durch Reference Sliding Window Attention (R-SWA) ersetzt.

Reference Sliding Window Attention (R-SWA)

R-SWA ist ein universeller Parsing-Attention-Mechanismus, der die Aufmerksamkeit innerhalb eines zweigeteilten Fensters der Größe $m + n$ beschränkt:

Referenz-Segment ( $P$ ): Beinhaltet alle Präfix-Token (visuelle Token und den Prompt). Dieses Segment hat eine feste Größe ( $L_m$ ) und bleibt für alle nachfolgenden Token global sichtbar. Entscheidend ist, dass diese Token keine Zustandsübergänge durchlaufen, wodurch die visuelle Treue bewahrt wird.
Dekodierungs-Segment ( $D_n$ ): Ein kausales Sliding Window fester Breite $n$ (Standardwert 128) über die zuvor generierten Output-Token.

Mechanismus:

Jeder generierte Token achtet auf alle Referenz-Token (Visuelles + Prompt) und nur auf die vorangegangenen $n$ Output-Token.
KV-Cache-Management: Im Gegensatz zu Standard-MHA, bei dem die Cache-Größe $L_m + T$ beträgt (wachsend mit der Sequenzlänge $T$ ), hält R-SWA eine konstante Cache-Größe von $L_m + n$ aufrecht. Der Cache fungiert als Warteschlange, in der das älteste KV-Paar des generierten Tokens entfernt wird, sobald ein neues hinzugefügt wird.
Ergebnis: Dieses Design entkoppelt die Speichernutzung und die Rechenkosten von der Gesamtlänge der Ausgabe, was unabhängig davon, wie viele Seiten verarbeitet werden, eine konstante Latenz und einen konstanten Speicherbedarf ermöglicht.

3. Zentrale Beiträge

R-SWA Algorithmus: Einführung eines neuartigen Attention-Mechanismus, der die volle Sichtbarkeit von Referenz- (visuellen) Token mit einem begrenzten kausalen Fenster für generierte Token kombiniert. Dies erreicht eine Attention mit linearer Komplexität, ohne die visuellen Merkmale zu verwischen.
Unlimited OCR Modell: Eine praktische Implementierung basierend auf DeepSeek OCR, die erfolgreich dutzende Dokumentenseiten in einem einzigen Vorwärtsdurchgang unter einer Standard-Maximallänge von 32K verarbeitet.
Leistungssteigerungen: Es wurde nachgewiesen, dass der Ersatz der Standard-Attention durch R-SWA nicht nur Effizienzgewinne, sondern auch Verbesserungen der Genauigkeit auf Standard-Benchmarks liefert, was darauf hindeutet, dass der „Soft Forgetting“-Mechanismus gut mit OCR-Aufgaben korreliert.
Generalisierbarkeit: Das Paper postuliert, dass R-SWA über OCR hinaus auf andere referenzbasierte Langzeit-Aufgaben wie die automatische Spracherkennung (ASR) und Übersetzung anwendbar ist.

4. Experimentelle Ergebnisse

Benchmarks und Metriken

Das Modell wurde auf OmniDocBench (v1.5 und v1.6) sowie einem unternehmenseigenen Long-Horizon-Testdatensatz evaluiert. Die Metriken umfassten Text Edit Distance, Formula CDM, Table TEDS und Reading Order Edit Distance.

Hauptergebnisse

OmniDocBench v1.5: Unlimited OCR erreichte eine Gesamtpunktzahl von 93,23 % und übertraf damit die DeepSeek OCR Baseline (87,01 %) um 6,22 Punkte. Es übertraf zudem die DeepSeek OCR 2 Baseline.
OmniDocBench v1.6: Erzielte ein neues SOTA von 93,92 % insgesamt und übertraf andere End-to-End-Modelle wie FireRed-OCR und Qianfan-OCR.
Subkategorie-Analyse: Das Modell zeigte konsistente Verbesserungen über alle neun Dokumententypen hinweg (PPT, wissenschaftliche Arbeiten, Bücher usw.), wobei keine Metrik im Vergleich zu den Baselines einen Nachteil aufwies.
Long-Horizon Parsing:
- Das Modell verarbeitete erfolgreich Eingaben von über 40 Seiten in einem Durchgang.
- Bei über 40 Seiten blieb die Edit Distance unter 0,11 und die Distinct-35 lag bei 96,90 %.
- Fehler bei extremen Längen wurden primlich auf die Auflösungslimitierungen des „Base“-Encoder-Modus (1024×1024) zurückgeführt und nicht auf ein Verlust der Orientierung durch den Attention-Mechanismus.

Effizienzanalyse

Durchsatz (TPS): Während beide Modelle bei kurzen Längen (256 Token) ähnlich performen, hält Unlimited OCR einen konstanten Durchsatz (~7.800 TPS) aufrecht, während die Sequenzlänge steigt. Im Gegensatz dazu sinkt der Durchsatz von DeepSeek OCR signifikant (um ~35 % bei 6.000 Token) aufgrund des wachsenden KV-Caches.
Latenz: Die Dauer pro Aufruf für den Flash Attention Kernel bleibt für Unlimited OCR konstant, während sie für die Baseline linear ansteigt.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass Unlimited OCR einen Wechsel hin zum One-Shot Long-Horizon Parsing darstellt – weg von Engineering-Workarounds (seitenweise Schleifen) hin zu einer eher AGI-konformen kognitiven Architektur.

Menschähnliche Effizienz: Durch die Nachahmung des menschlichen Arbeitsgedächtnisses – das Behalten der Quelle (Visuelles) und des aktuellen Kontextes bei gleichzeitigem „sanftem Vergessen“ entfernter Outputs – erreicht das Modell eine Effizienz, die sich mit der Aufgabenlänge nicht verschlechtert.
Verlustfreie Optimierung: Die Autoren behaupten, dass R-SWA ein „Free Lunch“ für OCR ist, da es die Genauigkeit verbessert und gleichzeitig die Speicher- und Rechenkosten drastisch reduziert.
Zukünftiges Potenzial: Die Arbeit legt nahe, dass die Attention-Berechnung und der Speicherbedarf keine primären Engpässe mehr für das Long-Horizon-Parsing darstellen. Die Autoren planen, R-SWA auf ASR und Übersetzung auszuweiten und „Prefill Pools“ zu untersuchen, um das menschliche Umblättern von Seiten für wahrhaft unbegrenzte Kontextlängen zu simulieren.

Anerkannte Einschränkungen:
Die aktuelle Implementierung ist immer noch durch die Prefill-Länge begrenzt (beschränkt durch das 32K-Kontextfenster und die Kompression des DeepEncoders). Wahrhaft „unbegrenztes“ Parsing (z. B. ganze Bücher ohne Kontextlimits) erfordert zukünftige Arbeiten an längeren Kontext-Trainings (128K+) und dynamischen Prefill-Abrufmechanismen.