🤖 AI

Toten: Knowledge-Based Ontological Tokenization Of Physical Quantities And Technical Notation In Brazilian Portuguese

Questo articolo introduce TOTEN, un framework di tokenizzazione ontologica basato sulla conoscenza per il portoghese brasiliano che sostituisce le sottoparole derivate statisticamente con un approccio dichiarativo e guidato dall'ontologia per preservare l'integrità semantica e strutturale delle quantità fisiche e della notazione tecnica, dimostrando prestazioni superiori rispetto ai baseline allo stato dell'arte nell'atomicità delle unità e nella ricostruzione numerica.

Autori originali: Antonio de Sousa Leitão Filho; Allan Kardec Duailibe Barros Filho; Fabrício Saul Lima; Selby Mykael Lima dos Santos; Rejani Bandeira Vieira Sousa

Pubblicato 2026-06-19

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Antonio de Sousa Leitão Filho; Allan Kardec Duailibe Barros Filho; Fabrício Saul Lima; Selby Mykael Lima dos Santos; Rejani Bandeira Vieira Sousa

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un computer a leggere un complesso manuale di ingegneria scritto in portoghese brasiliano. Il manuale è pieno di misurazioni precise come "5.2 kN/m²" (kilonewton per metro quadrato) o "1.5 × 10⁻³ m".

Il Problema: Il Traduttore "Pixelato"
La maggior parte dei moderni modelli di IA utilizza un metodo chiamato Byte-Pair Encoding (BPE) per leggere il testo. Immagina questo come un traduttore che parla solo in frammenti minuscoli e interrotti. Per risparmiare spazio, questo tokenizer BPE frammenta le parole in pezzi arbitrari basati su quanto spesso appaiono in libri generici.

Se il testo dice "5.2 kN/m²", un tipico tokenizer BPE potrebbe scomporlo in: 5, ., 2, k, N, /, m, ².
Per il computer, "5.2 kN/m²" non è un singolo concetto; è solo un mucchio casuale di otto pezzi di un puzzle separati. Il computer deve indovinare in seguito come rimontarli per capire che si tratta di una specifica forza fisica. Questo è come cercare di capire una frase guardando i singoli pixel delle lettere invece delle lettere stesse.

La Soluzione: TOTEN (Il "Bibliotecario Intelligente")
Gli autori hanno creato un nuovo sistema chiamato TOTEN. Invece di indovinare come scomporre le parole basandosi sulla statistica, TOTEN agisce come un bibliotecario basato sulla conoscenza che possiede un libro di regole rigido e formale (un'ontologia) su cosa siano effettivamente i termini di ingegneria.

Ecco come funziona TOTEN, utilizzando analogie semplici:

Il Libro delle Regole (L'Ontologia): Prima di leggere una singola parola, TOTEN ha un dizionario pre-scritto di regole ingegneristiche. Sa che "kN" è un'unità di forza, "m²" è un'area e "5.2" è un numero. Non indovina; conosce le definizioni a memoria.
I Tre Assistenti Esperti (Oracoli): TOTEN non cerca di memorizzare ogni possibile errore di battitura o simbolo. Invece, chiama tre esperti fidati per chiedere aiuto:
- Pint: L'esperto nelle unità di misura (sa esattamente cos'è un "kilowatt").
- Database Unicode: L'esperto in simboli e font (sa che un "2" in apice è un quadrato, non solo un numero).
- RSLP: L'esperto di grammatica portoghese (sa che "potências" significa "potenze" in un contesto tecnico).
Il Processo di Smistamento: Quando TOTEN vede il testo "5.2 kN/m²", non lo frammenta. Consulta il suo libro delle regole e gli esperti, e dice: "Ah, tutto questo è un unico blocco atomico chiamato 'Grandezza Fisica'". Avvolge l'intera frase in un singolo tag etichettato, preservandone l'esatto significato.

I Risultati: Perché è Importante
Gli autori hanno testato TOTEN contro altri otto sistemi di alto livello (inclusi i classici traduttori "pixelati" e altri strumenti di ricerca numerica) utilizzando un benchmark di 800 casi di ingegneria e quattro altre collezioni di testi in lingua portoghese del mondo reale.

Atomicità (Mantenere le cose intere): TOTEN è stato perfetto nel mantenere le grandezze fisiche come unità singole e ininterrotte. Gli altri sistemi spesso le hanno frammentate.
Ricostruzione (Rimontare le cose): Quando il computer aveva bisogno di estrarre il numero e l'unità effettiva in seguito, TOTEN riusciva a farlo correttamente dal 78% al 90% delle volte. Il miglior sistema concorrente è riuscito solo nel 63% - 70% dei casi.
Accuratezza: La differenza non era solo un piccolo miglioramento; era statisticamente significativa. TOTEN non si è limitato a indovinare; ha usato il suo libro delle regole per ottenere la risposta corretta in modo costante.

In Sintesi
TOTEN dimostra che, per i testi tecnici e scientifici, non è necessario affidarsi alla "deduzione statistica" (che funziona bene per la conversazione informale ma fallisce nell'ingegneria). Invece, si può utilizzare un approccio strutturato basato sulle regole che tratta i termini tecnici come oggetti completi e dotati di significato.

L'articolo afferma che questo metodo permette ai computer di "vedere" la struttura di numeri e unità esattamente come intendono gli ingegneri, senza scomporli in frammenti confondenti. È uno strumento specializzato progettato specificamente per rendere il testo tecnico in portoghese brasiliano leggibile per le macchine, assicurando che "5.2 kN/m²" sia trattato come un'idea singola e coerente piuttosto che come un ammasso disordinato di caratteri.

Sintesi Tecnica: TOTEN – Tokenizzazione Ontologica Basata sulla Conoscenza di Grandezze Fisiche in Portoghese Brasiliano

1. Definizione del Problema

Gli attuali algoritmi di tokenizzazione statistica (ad es., Byte-Pair Encoding, WordPiece, SentencePiece), che dominano il pre-processing dei Large Language Model (LLM), sono ottimizzati per la compressione del vocabolario piuttosto che per la preservazione semantica. Quando applicati a testi tecnici in portoghese brasiliano (PT-BR), questi metodi frammentano entità semanticamente atomiche — come grandezze fisiche, numeri specifici del contesto locale, unità dimensionali composte ed espressioni simboliche — in sequenze arbitrarie di subword. Questa frammentazione costringe i modelli a valle a ricostruire la struttura semantica originale a posteriori, un processo che studi empirici suggeriscono degradi il ragionamento numerico e l'accuratezza aritmetica. Inoltre, gli strumenti esistenti di estrazione quantitativa per l'inglese non modellano adeguatamente il vocabolario tecnico specifico e gli identificatori normativi (ad es., NBR, ABNT) del PT-BR, mentre i modelli generici di Named Entity Recognition (NER) ignorano le categorie tecnico-scientifiche.

2. Metodologia

Il documento propone TOTEN (Typed Ontological Tokenization), un framework che sostituisce la derivazione statistica con una classificazione dichiarativa fondata su un'ontologia formale.

2.1 Formalizzazione

TOTEN è formalizzato come la terna $\langle O, \text{classify}, \{inst_\tau\} \rangle$ :

$O$ (Ontologia delle Entità Ingegneristiche - OEE): Un'ontologia formale composta da un insieme di tipi primari ( $T$ ), principi strutturali ( $P$ ), relazioni di composizione ( $R$ ) e invarianti ( $I$ ). I tipi includono grandezze fisiche, identificatori tecnici, operatori formali e riferimenti gerarchici. L'ontologia è governata da otto assiomi (ad es., Intrinsicità, Composizione Mediata, Errore Categorico) che garantiscono che i tipi siano definiti da proprietà intrinseche piuttosto che dalla frequenza nel corpus.
$\text{classify}$ : Una funzione che mappa il testo grezzo ( $\Sigma^*$ ) in un insieme di regioni tipizzate $R_\Sigma$ , identificando intervalli di testo e assegnando loro un tipo basato sull'ontologia.
$\{inst_\tau\}$ : Una famiglia indicizzata di istanziatori che mappano le regioni classificate in un linguaggio di output strutturato $M$ . Questo livello formatta i dati senza ricedere il tipo, aderendo al principio della "singola autorità".

2.2 Architettura e Oracoli Esterni

Il framework accoppia l'OEE con tre oracoli esterni consolidati per garantire la robustezza senza enumerazione manuale:

Pint: Fornisce l'autorità dimensionale per le unità di misura e i prefissi SI.
Unicode Character Database (UCD): Gestisce i marcatori tipografici (apici, pedici, operatori matematici) tramite proprietà dei caratteri anziché tramite enumerazione carattere per carattere.
RSLP: Un algoritmo morfologico standard per il portoghese utilizzato per ridurre le inflessioni alle radici lemmatiche, aiutando a disambiguare le unità a singola lettera (ad es., distinguere "K" in "temperatura" da "K" in "Kelvin").

2.3 Linguaggio di Output

L'output è una sequenza strutturata di tag intercalati con testo residuo non classificato. Ogni tag contiene un identificatore di tipo e attributi (ad es., value, unit, dim, locale). Fondamentalmente, il sistema preserva la forma letterale del testo sorgente al di fuori delle regioni tipizzate, garantendo che la rappresentazione numerica (locale, separatori, notazione scientifica) rimanga intatta per l'elaborazione a valle.

3. Contributi Chiave

Il documento identifica tre primari contributi scientifici:

(C1) Formalizzazione della Tokenizzazione Ontologica: Definire la tokenizzazione come una terna $\langle O, \text{classify}, \{inst_\tau\} \rangle$ che è indipendente dall'implementazione ed evaluabile tramite proprietà verificabili, distinguendola categoricamente dalla tokenizzazione statistica di subword.
(C2) L'Ontologia OEE: Un'ontologia formale di entità ingegneristiche con tipi primari definiti da proprietà intrinseche, otto assiomi strutturali e relazioni di composizione dichiarate, progettata per essere estensibile secondo il principio "aperto all'estensione, chiuso alla modifica".
(C3) Protocollo di Valutazione Intrinseca: Una valutazione computazionalmente economica basata su quattro proprietà verificabili per costruzione:
1. Atomicità Ontologica: Le entità sono emesse come tag singoli e indivisibili con tipi corretti.
2. Equivalenza Dimensionale: I vettori dimensionali di grandezze equivalenti corrispondono.
3. Robustezza Tipografica: Varianti di notazione semanticamente equivalenti ricevono tipi identici.
4. Ricostruzione Numerica: La capacità di estrarre programmaticamente valore e unità con alta fedeltà.

4. Risultati Sperimentali

La valutazione ha utilizzato un benchmark generato internamente e validato fisicamente (EngQuant, $N=800$ ) e quattro corpora esterni in PT-BR (MMMLU PT_BR, BLUEX, ENEM Maritaca, Alvorada-Bench; totale $N=1.771$ casi idonei). TOTEN è stato confrontato con otto sistemi allo stato dell'arte, inclusi tokenizer statistici (varianti BPE), estrattori specializzati (Quantulum3, CQE, GLiNER), librerie dimensionali (Pint, udunits-2) e NER generico (spaCy).

Atomicità Ontologica: TOTEN ha raggiunto un'atomicità unitaria di 1.000 sul benchmark interno, superando significativamente il miglior baseline (Quantulum3 a 0.297) e i tokenizer statistici (circa 0.48).
Ricostruzione Numerica:
- Benchmark Interno: TOTEN ha ottenuto un punteggio di 0.780, significativamente superiore al miglior baseline CQE (0.340) e Quantulum3 (0.220).
- Corpora Esterni: TOTEN ha mantenuto la leadership in tutti e quattro i dataset esterni, ottenendo punteggi compresi tra 0.775 e 0.904. Al contrario, il miglior baseline (Quantulum3) oscillava tra 0.627 e 0.703.
- La significatività statistica è stata confermata tramite test di McNemar con correzione di Holm ( $p < 0.001$ ).
Equivalenza Dimensionale: TOTEN ha raggiunto un'accuratezza condizionale di 0.968, mostrando parità statistica con l'oracolo Pint (0.985), confermando che il sistema eredita l'autorità dimensionale senza distorsioni.
Robustezza Tipografica: TOTEN ha ottenuto 0.326 (globale) e 0.325 (ambito limitato), superando altri sistemi che frammentano le entità quando incontrano varianti di notazione impreviste.
Studi di Ablazione: La rimozione dell'oracolo Pint ha causato un calo significativo del recall e dell'accuratezza dimensionale, confermando il suo ruolo di autorità dimensionale. La rimozione di UCD o RSLP ha avuto effetti trascurabili sul benchmark ingegneristico specifico utilizzato, validando la loro utilità mirata per le ambiguità tipografiche e morfologiche rispettivamente.
Validità Concorrente: Una forte correlazione di rango di Spearman ( $\rho \geq 0.856$ ) tra il ranking dei corpora interni ed esterni ha confermato che il benchmark EngQuant è un proxy fedele delle prestazioni nel mondo reale.

5. Significato e Rivendicazioni

Il documento sostiene che TOTEN offra un vantaggio categorico rispetto alla tokenizzazione statistica preservando la struttura semantica delle entità tecniche prima che raggiungano i modelli consumer. A differenza dei metodi statistici che si affidano a proprietà distribuzionali, TOTEN è semanticamente impegnato in una concettualizzazione del dominio definita dall'OEE.

Le rivendicazioni chiave includono:

Recupero delle Proprietà Intrinseche: Il framework recupera le proprietà (struttura numerica, locale, vettori dimensionali) che le pipeline puramente statistiche perdono sistematicamente.
Compatibilità Neurosimbolica: TOTEN si posiziona come uno strato di pre-processing simbolico compatibile con architetture neurosimboliche, producendo una rappresentazione semanticamente impegnata nel dominio che può essere consumata sia da modelli statistici che da agenti simbolici.
Ambito Modesto: Gli autori dichiarano esplicitamente che l'effetto di questa rappresentazione sulle prestazioni dei modelli consumer (ad es., miglioramento dell'accuratezza aritmetica) è al di fuori dell'oggetto di questo studio ed è lasciato come lavoro futuro. La valutazione è strettamente intrinseca, focalizzata sulla qualità della rappresentazione dell'input stesso.
Limitazioni: Il sistema non normalizza attivamente la notazione tipograficamente degradata (preservando la forma letterale invece) e ha una copertura parziale per le unità adimensionali per costruzione, al fine di evitare collisioni lessicali con le parole portoghesi.

In conclusione, il documento dimostra che un approccio alla tokenizzazione basato sulla conoscenza e sull'ontologia può raggiungere miglioramenti statisticamente significativi in termini di atomicità e ricostruzione numerica per il testo tecnico in portoghese brasiliano, fornendo un'alternativa robusta ai metodi di compressione statistica per domini che richiedono un'alta fedeltà semantica.