Texo: Formula Recognition within 20M Parameters

In dit paper wordt Texo gepresenteerd, een minimalistisch maar hoogpresterend model voor formuleherkenning met slechts 20 miljoen parameters dat vergelijkbare prestaties levert als geavanceerdere modellen, maar met een aanzienlijk kleinere omvang die real-time inferentie op consumentenhardware en in-browser implementatie mogelijk maakt.

De kern

Texo: De Slimme, Kleine Wiskundige Die Alles Begrijpt

Stel je voor dat je een oude, handgeschreven wiskundige formule op een stuk papier hebt. Vroeger was het voor computers bijna onmogelijk om deze te lezen en om te zetten in een digitaal bestand dat je kunt bewerken. Het was alsof je een computer vroeg om een schilderij te vertalen in een recept; ze zagen de kleuren, maar begrepen niet de logica.

In dit artikel presenteren de onderzoekers Texo, een nieuw computerprogramma dat precies dat doet: het kijkt naar een foto van een wiskundige formule en schrijft de juiste code (LaTeX) voor je. Maar Texo is niet zomaar een programma; het is een wiskundig wonder in een miniatuurverpakking.

Hier is hoe Texo werkt, vertaald naar alledaagse taal:

1. De "Zware" versus de "Lichte" Truck

Stel je voor dat je een pakketje wilt bezorgen.

• De huidige, beste programma's (zoals UniMERNet) zijn als gigantische vrachtwagens. Ze zijn enorm zwaar, hebben enorme motoren (duizenden miljoenen "parameters") en verbruiken veel brandstof. Ze kunnen alles vervoeren, maar ze zijn traag en moeilijk te parkeren op een kleine oprit (je gewone laptop of telefoon).
• Texo is als een slimme, snelle elektrische scooter. Hij is ontworpen om precies dat ene pakketje (de formule) te vervoeren. Hij is 80% lichter dan die grote vrachtwagens, maar hij komt net zo snel op de bestemming.

2. Waarom is Texo zo klein? (De Woordenboeken)

Het geheim van Texo zit hem in hoe hij "leest".

• Het probleem: De grote vrachtwagens gebruiken een woordenboek met 50.000 woorden. Ze proberen ook woorden te begrijpen die nooit in een wiskundig boek voorkomen, zoals "kip" of "schoen". Dit maakt ze traag en onnodig groot.
• De Texo-oplossing: De makers van Texo hebben een speciaal wiskundig woordenboek gemaakt. Ze hebben alle woorden die niet nodig zijn, verwijderd.
  • De analogie: Stel je voor dat je een recept schrijft. In plaats van te zeggen "neem een lepel, neem een lepel, neem een lepel", zeg je gewoon "neem 3 lepels". Texo begrijpt dat \leftarrow (een pijltje) één ding is, terwijl andere programma's dit misschien in twee stukken snijden (\left en arrow).
  • Door dit "op te schonen", is Texo's geheugen (zijn woordenboek) van 50.000 woorden gekrompen tot slechts 687 woorden. Hierdoor is het programma enorm licht geworden.

3. De Kunst van het "Overnemen" (Distillatie)

Texo is niet helemaal zelfstandig geboren. De onderzoekers hebben een slimme truc gebruikt die lijkt op leren van een meester.

• Ze namen een bestaand, goed model (PPFormulaNet) en lieten Texo kijken hoe die het deed.
• Vervolgens vertelden ze Texo: "Gebruik niet mijn hele brein, maar focus alleen op de slimme stukjes die nodig zijn voor wiskunde."
• Dit noemen ze distillatie. Het is alsof je een grote leraar vraagt om zijn kennis te samenvatten in een klein, handzaam boekje dat een student in 5 minuten kan lezen, in plaats van de hele bibliotheek te laten lezen.

4. Wat kun je er mee? (De Toekomst)

Het mooiste aan Texo is dat je het nu al kunt gebruiken, zonder dure computers.

• In je browser: De onderzoekers hebben een website gemaakt (texocr.netlify.app). Je kunt een foto van een formule uploaden, en Texo reageert direct in je webbrowser.
• Privé en veilig: Omdat Texo zo klein is, hoeft je foto niet naar een server in het buitenland te sturen. Alles gebeurt op jouw eigen computer. Je data blijft veilig.
• Snelheid: Texo is 7 keer sneller dan de grote, zware modellen. Het is alsof je van een langzame trein overstapt op een snelle fiets.

Samenvatting

Texo bewijst dat je niet altijd de zwaarste, duurste en grootste machines nodig hebt om slimme dingen te doen. Door slim te kiezen welke woorden je nodig hebt en door te leren van de besten, kun je een krachtige, snelle en gratis wiskundige vertaler bouwen die zelfs op een gewone laptop werkt.

Het is een stap in de richting van een wereld waar iedereen, van student tot leraar, zijn wiskundige notities direct kan digitaliseren, zonder dat zijn computer in brand vliegt van de rekenkracht.

Technische samenvatting

Probleemstelling

Formuleherkenning (Mathematical Expression Recognition - MER) is een cruciale taak binnen documentanalyse, waarbij afbeeldingen van wiskundige formules worden omgezet in gestructureerde LaTeX-code. Hoewel er recente vooruitgang is geboekt met state-of-the-art (SOTA) modellen zoals UniMERNet en PPFormulaNet, zijn deze modellen vaak te groot en zwaar voor praktische implementatie op consumentenhardware of randapparatuur (edge devices).

• Grootte: Bestaande SOTA-modellen variëren van 58 miljoen tot meer dan 500 miljoen parameters (bijv. GOT-OCR-2.0 is 560M).
• Efficiëntie: Deze omvang maakt real-time inferentie op persoonlijke computers of in-browser toepassingen moeilijk, terwijl algemene Vision-Language Models (VLMs) vaak overkill zijn voor deze specifieke taak.
• Token-inefficiëntie: Veel bestaande modellen gebruiken vocabulaires en tokenizers die zijn ontworpen voor algemene natuurlijke taal. Dit leidt tot een onnodig groot aantal parameters in de in- en output-embeddinglagen en kan betekenisvolle LaTeX-tokens (zoals \leftarrow) onnodig opsplitsen in minder significante subwoorden.

Methodologie

Het paper introduceert Texo, een minimalistisch maar hoogpresterend model dat slechts 20 miljoen parameters telt. De aanpak combineert architecturale keuzes met geavanceerde compressietechnieken:

1. Modelarchitectuur:

   • Texo baseert zich op de architectuur van PPFormulaNet-S.
   • Encoder: Gebruikt HGNetV2-B4, een lichtgewicht moderne CNN (backbone van RT-DETR), die vergelijkbaar presteert met Vision Transformers (ViT) maar efficiënter is.
   • Decoder: Een 2-laags MBart Transformer-decoder met een verborgen dimensie van 384 en een contextlengte van 1024.

2. Vocabulaire-distillatie en -transfer (Kerninnovatie):

   • In plaats van het verkleinen van de decoder-lagen (een gebruikelijke methode), richt Texo zich op de grootste bron van parameters: de embeddinglagen die evenredig zijn met de vocabulairegrootte.
   • Regelgebaseerde Tokenizer: In plaats van een heuristische Byte Pair Encoding (BPE), wordt een tokenizer gebouwd op basis van KaTeX. Dit zorgt ervoor dat LaTeX-macro's (die volledige semantiek dragen) als één token worden behandeld en niet worden opgesplitst.
   • Distillatie: De vocabulaire wordt gereduceerd van 50.000 tokens naar slechts 687 tokens door alleen de noodzakelijke LaTeX-macro's te selecteren.
   • Transfer: De embeddinglagen van het oorspronkelijke model (PPFormulaNet-S) worden getransfereerd naar het nieuwe, kleinere vocabulaire. De nieuwe embeddings worden berekend door het gemiddelde te nemen van de corresponderende oude embeddings.
   • Resultaat: Dit verlaagt het aantal parameters in de embeddinglagen van 38 miljoen naar minder dan 1 miljoen.

3. Training en Data:

   • Het model wordt getraind op het UniMER-1M dataset (meer dan 1 miljoen afbeelding-LaTeX-paren).
   • Er wordt gebruikgemaakt van data-augmentatie (affiene transformaties, ruis, etc.) en normalisatie van LaTeX-tokens.
   • Training vindt plaats met de AdamW-optimizer en een cosine annealing leerplan.

4. Implementatie:

   • Het model is volledig in de browser gedeployed (client-side) zonder backend-API's, gebruikmakend van Transformers.js en ONNX. Dit garandeert privacy en werkt lokaal op consumentenhardware.

Belangrijkste Bijdragen

1. Texo Model: Een formuleherkenningsmodel met slechts 20M parameters dat prestaties levert die vergelijkbaar zijn met veel grotere SOTA-modellen.
2. Efficiënte Vocabulaire-ontwerp: Een bewezen methode om vocabulaires en tokenizers specifiek te distilleren voor LaTeX, wat leidt tot een drastische reductie in modelgrootte en een verbetering in inferentiesnelheid.
3. Toegankelijkheid: Het openbaar maken van het model, de trainingspipeline en een volledig functionele webapplicatie die in de browser draait, waardoor complexe hardware-configuratie en datalekken worden vermeden.
4. Demonstratie van Haalbaarheid: Het bewijst dat het mogelijk is om grote modellen uit te dagen op specifieke taken met alleen open-source data, open weights en consumentenhardware.

Resultaten

De evaluatie vond plaats op het UniMER-Test dataset, waarbij de Character Detection Matching (CDM) score als belangrijkste metriek werd gebruikt.

• Prestaties: Texo bereikt een CDM-score die vergelijkbaar is met of zelfs beter is dan de basismodellen, ondanks de enorme reductie in grootte.
  • Texo (20M): CDM ~0.958 (SPE), 0.825 (CPE).
  • PPFormulaNet-S (58M): CDM ~0.949 (SPE), 0.678 (CPE).
  • UniMERNet-T (107M): CDM ~0.991 (SPE), 0.949 (CPE).
  • Texo presteert consistent beter dan zijn basismodel (PPFormulaNet-S) dankzij de gefocuste classificatiekop door de distillatie.
• Snelheid:
  • Texo is 7x sneller dan UniMERNet-T.
  • Hoewel het iets trager is dan PPFormulaNet-S (dat multi-token parallelle inferentie gebruikt), is Texo aanzienlijk sneller in termen van tokenlengte (de output is korter door de efficiëntere tokenizer).
• Modelgrootte:
  • 80% kleiner dan UniMERNet-T.
  • 65% kleiner dan PPFormulaNet-S.
  • Totale grootte: slechts 20M parameters.

Betekenis en Impact

Het paper markeert een belangrijke stap in de richting van efficiënte, specifieke AI-modellen. Het toont aan dat voor gespecialiseerde taken zoals MER geen enorme, algemene Vision-Language Models nodig zijn. Door slimme ontwerpprincipes (zoals vocabulaire-distillatie) kunnen modellen worden gereduceerd tot een fractie van hun oorspronkelijke grootte zonder in te leveren op nauwkeurigheid.

De beschikbaarheid van Texo als een client-side webapplicatie heeft grote praktische implicaties:

• Privacy: Gebruikers hoeven hun documenten niet naar een server te sturen; alles gebeurt lokaal in de browser.
• Toegankelijkheid: Studenten, onderzoekers en ontwikkelaars kunnen state-of-the-art formuleherkenning gebruiken zonder dure GPU's of complexe installaties.
• Toekomstperspectief: De methodiek biedt een blauwdruk voor het optimaliseren van andere domeinspecifieke OCR-taken binnen het ecosysteem van Large Language Models.