Texo: Formula Recognition within 20M Parameters

Die Arbeit stellt Texo vor, ein minimalistisches Formelerkennungsmodell mit nur 20 Millionen Parametern, das durch gezieltes Design und Wissensdistillation eine Leistung auf dem Niveau aktueller State-of-the-Art-Modelle bei deutlich reduzierter Größe erreicht und somit Echtzeit-Inferenz auf Endgeräten ermöglicht.

Das Wesentliche

Stellen Sie sich vor, Sie halten ein Foto einer komplizierten mathematischen Formel in der Hand – vielleicht aus einem alten Lehrbuch oder einer handschriftlichen Notiz. Früher war es wie ein Rätsel für Computer: „Was bedeutet dieses seltsame Symbol? Ist das ein 'x' oder ein 'y'? Ist das ein Bruchstrich oder ein Minus?"

Das Papier über Texo erzählt die Geschichte von einem neuen, schlauen Computerprogramm, das genau dieses Rätsel löst – und zwar viel schneller und mit weniger Aufwand als seine großen, schweren Konkurrenten.

Hier ist die Erklärung, wie das funktioniert, ohne Fachchinesisch:

1. Das Problem: Der dicke Elefant im Raum

Bisher gab es zwei Arten von Programmen, die Formeln lesen können:

• Die Riesen: Diese sind wie riesige Elefanten. Sie sind extrem stark und können fast alles erkennen, aber sie wiegen so viel (haben so viele „Parameter", also innere Bauteile), dass sie nur auf teuren, riesigen Supercomputern laufen. Ein normales Laptop oder gar ein Handy schafft das nicht.
• Die kleinen Helfer: Diese sind leicht, aber sie sind oft etwas dumm. Sie verstehen einfache Formeln, aber wenn die Formel kompliziert wird oder handschriftlich ist, geben sie schnell auf.

Die Forscher wollten das Beste aus beiden Welten: Ein Programm, das so schlau ist wie der Elefant, aber so leicht ist wie ein Vogel.

2. Die Lösung: Texo – Der „Mini-Meister"

Texo ist dieses neue Programm. Es ist ein Wunderwerk der Effizienz.

• Die Größe: Die großen Riesen haben oft 100 bis 500 Millionen Bauteile. Texo hat nur 20 Millionen. Das ist wie der Unterschied zwischen einem schweren Panzer und einem eleganten Sportwagen.
• Die Leistung: Trotz seiner winzigen Größe kann Texo fast genauso gut Formeln lesen wie die riesigen Modelle. Er ist so schnell, dass er sogar direkt in Ihrem Webbrowser auf Ihrem normalen Computer läuft – ohne dass Sie etwas installieren müssen.

3. Wie haben sie das gemacht? (Die Geheimzutaten)

Stellen Sie sich vor, Sie wollen ein Kochbuch für Mathematik schreiben.

Zutat A: Das Wörterbuch neu sortieren (Vocabulary Distillation)
Die alten großen Modelle hatten ein Wörterbuch, das für alles gedacht war: für Natur, für Politik, für Alltagssprache. Das ist wie ein Wörterbuch, das 50.000 Wörter enthält, obwohl man für Mathematik nur 687 spezielle Begriffe braucht.

• Das Problem: Das große Wörterbuch macht das Programm schwer und langsam, weil es ständig nach Dingen sucht, die es gar nicht braucht.
• Texos Trick: Die Forscher haben das Wörterbuch „geputzt". Sie haben alle unnötigen Wörter entfernt und ein kleines, präzises Wörterbuch nur für Mathematik erstellt.
• Die Analogie: Statt einen riesigen Werkzeugkasten mit 500 Werkzeugen mit sich zu tragen, nimmt Texo nur den perfekten Satz aus 10 Werkzeugen mit, die er wirklich braucht. Das spart enorm viel Platz und Gewicht.

Zutat B: Der kluge Übersetzer (Tokenizer Transfer)
Mathematik wird oft in einer speziellen Sprache geschrieben (LaTeX). Alte Programme nutzen einen Übersetzer, der Wörter manchmal unsinnig aufteilt.

• Das Problem: Ein Wort wie \leftarrow (ein Pfeil nach links) wurde von alten Programmen in zwei Teile zerhackt: \left und arrow. Das ist, als würde man das Wort „Hund" in „Hu" und „nd" teilen. Das verwirrt das Programm und macht es langsamer.
• Texos Trick: Texo nutzt einen Übersetzer, der die mathematischen Symbole als ganze, sinnvolle Einheiten erkennt. Er weiß sofort: „Das ist ein Pfeil!" und nicht „Das sind zwei Buchstaben".
• Das Ergebnis: Das Programm muss weniger „Schritte" machen, um die Formel zu verstehen, und ist dadurch viel schneller.

4. Warum ist das wichtig?

Stellen Sie sich vor, Sie sind ein Student oder Lehrer und wollen eine Formel aus einem Foto in Ihren Computer übertragen.

• Früher: Sie mussten eine komplexe Software installieren, vielleicht eine teure Cloud-Dienstleistung nutzen (wo Ihre Daten hochgeladen werden) oder warten, bis der riesige Computer fertig ist.
• Mit Texo: Sie gehen auf eine einfache Webseite, laden das Foto hoch, und in Ihrem eigenen Browser wird die Formel sofort in lesbaren Text umgewandelt.
  • Es ist schnell (wie ein Blitz).
  • Es ist privat (Ihre Daten verlassen Ihren Computer nicht).
  • Es ist kostenlos und läuft auf jedem normalen Gerät.

Zusammenfassung

Texo ist wie ein Schweizer Taschenmesser für Mathematik. Es ist klein, passt in die Hosentasche (oder den Browser), aber es hat genau die richtigen Werkzeuge, um die kompliziertesten mathematischen Aufgaben zu lösen, ohne dass Sie einen ganzen Werkzeugwagen (einen Supercomputer) mieten müssen.

Die Forscher zeigen damit, dass man nicht immer riesige, schwere Maschinen braucht, um gute Arbeit zu leisten. Manchmal reicht ein gut durchdachtes, schlankes Design, um die Welt zu verändern.

Technische Zusammenfassung

1. Problemstellung

Die Erkennung mathematischer Formeln (Mathematical Expression Recognition, MER) ist ein kritischer Schritt in der Dokumentenanalyse, insbesondere für die Umwandlung von Formelbildern in strukturierten LaTeX-Code. Dies ist essenziell für Wissenschaftler, Lehrer und Studenten sowie für die Vorverarbeitung von Trainingsdaten für Large Language Models (LLMs).

Das Hauptproblem liegt in der Ineffizienz bestehender State-of-the-Art (SOTA) Modelle. Obwohl Modelle wie UniMERNet-T (107M Parameter) oder PPFormulaNet-S (58M Parameter) hohe Genauigkeit erreichen, sind sie für den Einsatz auf Endgeräten (Consumer-Hardware, Edge Devices) oder im Browser zu groß und rechenintensiv. Allgemeine Vision-Language-Modelle (VLMs) wie GOT-OCR-2.0 (560M Parameter) sind noch schwerer und oft für diese spezifische Aufgabe überdimensioniert. Es fehlt an einem leichten, spezialisierten Modell, das SOTA-Leistung auf ressourcenbeschränkter Hardware bietet.

2. Methodik

Das Paper stellt Texo vor, ein minimalistisches MER-Modell mit nur 20 Millionen Parametern. Die Methodik basiert auf drei Säulen:

• Modellarchitektur: Texo erbt die Architektur von PPFormulaNet-S. Es besteht aus:
  • Einem Bild-Encoder: HGNetV2-B4 (ein leichter CNN, der als Backbone für RT-DETR dient).
  • Einem Text-Decoder: Ein 2-Schichten MBart Transformer mit einer versteckten Dimension von 384 und einer Kontextlänge von 1024.
• Vokabular-Distillation und Transfer (Kerninnovation):
  • Herkömmliche Modelle nutzen Vokabulare für natürliche Sprache (ca. 50.000 Tokens), die für LaTeX-Formeln ineffizient sind (z. B. Aufspaltung von \leftarrow in \left und arrow durch BPE-Tokenizer).
  • Texo nutzt einen regelbasierten Tokenizer, der auf KaTeX basiert und alle gängigen Makros als vollständige semantische Einheiten behandelt.
  • Durch Vokabular-Transfer wird das Vokabular von 50.000 auf 687 Tokens reduziert.
  • Dies eliminiert die Notwendigkeit großer Embedding-Schichten. Die Embedding-Parameter sinken von 38 Millionen auf unter 1 Million.
  • Der Transfer erfolgt durch eine Heuristik, bei der die Einbettungen des neuen Tokenizers durch Mittelwertbildung der entsprechenden Einbettungen des Quellmodells initialisiert werden (siehe Algorithmus 1 im Paper).
• In-Browser-Deployment:
  • Das Modell wird ohne Backend-API in den Browser exportiert (ONNX-Format, Transformers.js).
  • Die Inferenz läuft lokal im Web Worker, was Datenschutz garantiert und keine Serverkosten verursacht.

3. Wichtige Beiträge

1. Texo-Modell: Ein hochperformantes MER-Modell mit nur 20M Parametern, das mit großen SOTA-Modellen konkurrieren kann.
2. Effizienz durch Vokabular-Optimierung: Demonstration, dass durch die Anpassung des Tokenizers und die Reduktion des Vokabulars auf domänenspezifische LaTeX-Makros die Modellgröße drastisch gesenkt werden kann, ohne die Genauigkeit zu opfern.
3. Praktische Anwendbarkeit: Bereitstellung einer kostenlosen, privaten und schnellen Web-Anwendung (texocr.netlify.app), die das Modell direkt im Browser ausführt.
4. Open Source: Veröffentlichung des Modells und des Trainingspipelines für pädagogische Zwecke.

4. Ergebnisse

Die Evaluation erfolgte auf dem UniMER-Test-Datensatz (über 23.000 Testpaare) unter Verwendung des CDM-Scores (Character Detection Matching), dem aktuellen Standard für MER.

• Genauigkeit: Texo erreicht eine CDM-Leistung, die mit UniMERNet-T und PPFormulaNet-S vergleichbar ist und diese in bestimmten Kategorien sogar übertrifft.
  • SPE (Simple Printed): Texo (0,958) vs. PPFormulaNet-S (0,949).
  • HWE (Handwritten): Texo (0,902) vs. PPFormulaNet-S (0,818).
  • Texo übertrifft sein Basis-Modell PPFormulaNet-S konsistent, da das distillierte Vokabular den Klassifikationskopf auf nützliche Tokens konzentriert und Fehler reduziert.
• Effizienz & Geschwindigkeit:
  • Modellgröße: Reduktion um 80 % gegenüber UniMERNet-T und 65 % gegenüber PPFormulaNet-S.
  • Inferenzzeit: Texo ist 7-mal schneller als UniMERNet-T. Zwar ist es etwas langsamer als PPFormulaNet-S (das Multi-Token-Parallelisierung nutzt), aber der Geschwindigkeitsvorteil gegenüber großen Modellen ist signifikant.
  • Token-Länge: Durch den optimierten Tokenizer wird die durchschnittliche Länge der Ausgabe-Token um fast die Hälfte reduziert, was die Inferenz beschleunigt.
• Hardware-Anforderungen: Das Training kann auf einer einzelnen Consumer-GPU (z. B. RTX 3090 mit 24 GB VRAM) durchgeführt werden, da der Speicherbedarf für Parameter und Optimierer nur ca. 230 MB beträgt.

5. Bedeutung und Ausblick

Das Paper beweist, dass für spezialisierte Aufgaben wie die Formelerkennung keine riesigen, allgemeinen VLMs notwendig sind. Durch gezieltes Design (Domänen-spezifisches Vokabular) und Wissenstransfer können extrem effiziente Modelle gebaut werden, die:

• Echtzeit-Inferenz auf Consumer-Hardware ermöglichen.
• Datenschutz durch lokale Ausführung im Browser gewährleisten.
• Als Leitfaden für die Entwicklung effizienter Modelle in anderen OCR-Bereichen dienen.

Als nächster Schritt plant die Autoren, diese effiziente Architektur auf allgemeinere Dokumenten-OCR-Aufgaben zu erweitern, angesichts des aktuellen Booms bei Vision-Language-Modellen.