Texo: Formula Recognition within 20M Parameters

Il paper presenta Texo, un modello minimalista ed efficiente per il riconoscimento di formule matematiche con soli 20 milioni di parametri che, grazie a un design attento e tecniche di distillazione, raggiunge prestazioni comparabili agli stati dell'arte riducendo drasticamente le dimensioni del modello e abilitando l'inferenza in tempo reale su hardware consumer e nel browser.

L'essenziale

🧠 Il Problema: I "Giganti" sono troppo pesanti

Immagina di dover tradurre una foto di una formula matematica complessa (come quelle che vedi sui libri di fisica o chimica) in un testo digitale che il computer può leggere e modificare. Fino a poco tempo fa, per fare questo lavoro servivano dei "giganti" digitali: modelli di intelligenza artificiale enormi, pesanti come un camioncino, che richiedevano computer super potenti (e costosi) per funzionare.

Pensaci così: se vuoi solo leggere una ricetta su un foglio di carta, non hai bisogno di un supercomputer da laboratorio; ti basta un tablet. Eppure, i modelli attuali per leggere le formule matematiche erano come se usassero un razzo spaziale per andare a comprare il pane: funzionavano bene, ma erano troppo ingombranti, lenti e costosi da usare per una persona comune.

🚀 La Soluzione: Texo, il "Piccolo Genio"

Gli autori di questo studio hanno creato Texo. Immagina Texo non come un camioncino, ma come un scooter elettrico intelligente.

• Leggero: È minuscolo. Contiene solo 20 milioni di parametri (i "neuroni" dell'intelligenza artificiale).
• Potente: Nonostante le sue dimensioni ridotte, corre veloce quanto i giganti (i modelli "Stato dell'Arte" come UniMERNet o PPFormulaNet) e spesso li batte.
• Accessibile: Puoi farlo girare sul tuo computer di casa, o addirittura direttamente nel tuo browser internet, senza bisogno di server potenti o di installare nulla.

🛠️ Come hanno fatto? (La Magia della "Riduzione")

Come hanno fatto a rendere un modello così piccolo ma così intelligente? Hanno usato due trucchi principali, che possiamo paragonare a questi:

1. Il Dizionario Intelligente (Distillazione del Vocabolario):
   I modelli grandi usano un dizionario enorme, fatto per parlare di tutto (come un dizionario che include parole per la cucina, l'astronomia e lo slang giovanile). Ma per le formule matematiche, non servono tutte quelle parole!
   Gli autori hanno creato un dizionario su misura, come se avessero preso un dizionario da 50.000 pagine e ne avessero tagliato via tutto il superfluo, lasciandone solo 687 pagine essenziali.

   • L'analogia: Invece di far memorizzare al computer ogni singola lettera di ogni parola possibile, gli hanno insegnato a riconoscere i "blocchi" completi delle formule (come \frac per una frazione) invece di spezzarli in pezzi minuscoli e inutili. Questo ha risparmiato tantissimo spazio.

2. Il Trasferimento di Conoscenza:
   Invece di far imparare Texo da zero (come un bambino che deve imparare a leggere da solo), lo hanno "addestrato" partendo da un modello già esperto (PPFormulaNet-S). È come se un maestro di scuola avesse preso un allievo brillante, gli avesse dato un riassunto dei suoi appunti e gli avesse detto: "Ecco, ora tu sei il maestro, ma con meno libri da portare nello zaino".

🌍 Perché è una rivoluzione?

Fino ad oggi, per usare queste tecnologie servivano:

• Computer potenti (costosi).
• Configurazioni tecniche complicate (come montare un motore da corsa).
• Rischi per la privacy (i dati delle tue foto venivano inviati a server lontani).

Con Texo:

• Funziona ovunque: Puoi usarlo sul tuo portatile, sul tuo telefono o direttamente su una pagina web.
• È privato: L'elaborazione avviene sul tuo dispositivo. Nessuno vede le tue foto o le tue formule. È come se facessi i calcoli nel tuo quaderno, senza mostrarli a nessuno.
• È veloce: È fino a 7 volte più veloce dei modelli precedenti più grandi.

🎯 In sintesi

Texo è la dimostrazione che non serve sempre costruire cose enormi per ottenere risultati eccellenti. Con un design intelligente, un vocabolario curato e un po' di creatività, è possibile creare un'intelligenza artificiale che è piccola, veloce, privata e gratuita, capace di leggere le formule matematiche meglio di molti "giganti" che costano una fortuna.

Gli autori hanno persino creato un sito web (texocr.netlify.app) dove chiunque può provare questo "piccolo genio" in tempo reale, trasformando le foto delle proprie formule in testo digitale in un attimo.

Sommario tecnico

1. Il Problema

Il riconoscimento delle formule matematiche (MER - Mathematical Expression Recognition) è un compito critico nell'analisi dei documenti e nella preparazione dei dati per i Large Language Models (LLM). Sebbene esistano modelli State-of-the-Art (SOTA) come UniMERNet e PPFormulaNet, questi presentano due limitazioni principali:

• Dimensione eccessiva: I modelli SOTA attuali variano da 58 milioni a oltre 500 milioni di parametri (es. GOT-OCR-2.0 ha 560M). Questo li rende troppo pesanti per l'esecuzione su hardware consumer, dispositivi edge o browser.
• Inefficienza del vocabolario: La maggior parte di questi modelli eredita vocabolari e tokenizer generici per il linguaggio naturale (spesso basati su BPE - Byte Pair Encoding). Questi sono inadeguati per le formule LaTeX, che sono sintatticamente rigide: i tokenizer generici spezzano token significativi (es. \leftarrow diventa \left + arrow), aumentando la lunghezza delle sequenze e sprecando parametri negli strati di embedding.

2. Metodologia

Gli autori propongono Texo, un modello minimalista ad alte prestazioni che risolve i problemi di efficienza attraverso un design attento e tecniche di distillazione.

A. Architettura del Modello

Texo eredita la struttura di base da PPFormulaNet-S, composta da:

• Encoder di Immagini: Utilizza HGNetV2-B4, una CNN leggera e moderna (backbone di RT-DETR), che offre prestazioni paragonabili ai ViT ma con meno parametri.
• Decoder di Testo: Un decoder Transformer MBart a 2 livelli con dimensione nascosta di 384 e lunghezza del contesto di 1024.

B. Distillazione e Trasferimento del Vocabolario (Il cuore dell'innovazione)

La maggior parte dei parametri nei modelli MER risiede negli strati di embedding di input e output del decoder, proporzionali alla dimensione del vocabolario. Texo riduce drasticamente questi parametri attraverso:

1. Vocabolario Specifico: Invece di usare un vocabolario generico da 50.000 token, gli autori hanno creato un vocabolario basato su regole derivato da KaTeX (un parser LaTeX open-source). Questo vocabolario contiene solo i macro LaTeX comuni e necessari, riducendo il numero di token da 50.000 a 687.
2. Trasferimento del Tokenizer: È stato rimosso lo spazio bianco (whitespace) dal tokenizer poiché non ha significato semantico nelle formule, riducendo ulteriormente la lunghezza delle sequenze di addestramento.
3. Distillazione degli Embedding: Utilizzando un algoritmo di trasferimento (Algorithm 1), i pesi degli embedding del modello grande (PPFormulaNet-S) vengono mappati e mediati per adattarsi al nuovo vocabolario ridotto.
   • Risultato: I parametri degli embedding sono scesi da 38 milioni a meno di 1 milione.

C. Distribuzione nel Browser

Per dimostrare l'efficienza, il modello è stato implementato in un'applicazione web puramente frontend (senza chiamate API backend):

• Il checkpoint è stato esportato in formato ONNX.
• Utilizza Transformers.js per l'inferenza lato client.
• L'interfaccia è costruita con Vue/Nuxt e utilizza Web Workers per separare l'inferenza dal rendering dell'UI, garantendo un'esperienza utente fluida e privata.

3. Risultati Sperimentali

Il modello è stato addestrato sul dataset UniMER-1M e valutato su UniMER-Test (23.000 coppie immagine-LaTeX).

• Dimensione: Texo ha solo 20 milioni di parametri.
  • Riduzione dell'80% rispetto a UniMERNet-T (107M).
  • Riduzione del 65% rispetto a PPFormulaNet-S (58M).
• Prestazioni (CDM Score): Nonostante le dimensioni ridotte, Texo raggiunge prestazioni comparabili o superiori ai modelli di riferimento:
  • Supera PPFormulaNet-S su tutti i tipi di espressioni (SPE, CPE, SCE, HWE).
  • Raggiunge un punteggio CDM di 0.958 su espressioni stampate semplici (SPE), molto vicino a UniMERNet-T (0.991) e superiore a PPFormulaNet-S (0.949).
• Velocità di Inferenza:
  • Texo è 7 volte più veloce di UniMERNet-T.
  • È leggermente più lento di PPFormulaNet-S, ma quest'ultimo utilizza una tecnica di predizione parallela multi-token che sacrifica l'accuratezza per la velocità; Texo mantiene un equilibrio migliore senza tale compromesso.
  • La riduzione della lunghezza dei token di output (grazie al vocabolario curato) contribuisce significativamente alla velocità.

4. Contributi Chiave

1. Modello Texo: Un modello di riconoscimento formule minimalista (20M parametri) che sfida i modelli SOTA molto più grandi utilizzando solo dati open-source e hardware consumer.
2. Tecnica di Distillazione del Vocabolario: Dimostrazione che la creazione di un vocabolario specifico per il dominio (basato su regole LaTeX) e il trasferimento degli embedding possono ridurre i parametri del 65-80% senza perdere accuratezza, risolvendo il problema dello spreco di token nei modelli generici.
3. Accessibilità: Pubblicazione di un'applicazione web interattiva che permette l'uso privato e immediato del modello direttamente nel browser, eliminando la necessità di configurazioni ambientali complesse.

5. Significato e Impatto

Il lavoro di Texo è significativo perché dimostra che per compiti specifici come il riconoscimento delle formule matematiche, non è necessario ricorrere a modelli di visione-linguaggio (VLM) generici enormi e costosi.

• Efficienza delle Risorse: Abilita l'esecuzione in tempo reale su GPU consumer (es. RTX 3090) e dispositivi mobili.
• Privacy: La possibilità di eseguire l'inferenza localmente nel browser protegge i dati sensibili degli utenti, a differenza delle soluzioni basate su API cloud.
• Futuro della Ricerca: Apre la strada all'adattamento di modelli efficienti e specifici per il dominio anche ad altri compiti di OCR documentale, riducendo la barriera all'ingresso per la ricerca e l'applicazione pratica in ambito accademico e industriale.