🤖 AI

Toten: Knowledge-Based Ontological Tokenization Of Physical Quantities And Technical Notation In Brazilian Portuguese

Dieses Paper führt TOTEN ein, ein wissensbasiertes ontologisches Tokenisierungs-Framework für brasilianisches Portugiesisch, das statistisch abgeleitete Subwords durch einen deklarativen, ontologiegesteuerten Ansatz ersetzt, um die semantische und strukturelle Integrität physikalischer Größen und technischer Notationen zu bewahren, wobei es eine überlegene Leistung gegenüber dem aktuellen Stand der Technik hinsichtlich der Einheit-Atomizität und der numerischen Rekonstruktion demonstriert.

Ursprüngliche Autoren: Antonio de Sousa Leitão Filho; Allan Kardec Duailibe Barros Filho; Fabrício Saul Lima; Selby Mykael Lima dos Santos; Rejani Bandeira Vieira Sousa

Veröffentlicht 2026-06-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Antonio de Sousa Leitão Filho; Allan Kardec Duailibe Barros Filho; Fabrício Saul Lima; Selby Mykael Lima dos Santos; Rejani Bandeira Vieira Sousa

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Computer beizubringen, ein komplexes technisches Handbuch zu lesen, das in brasilianischem Portugiesisch verfasst ist. Das Handbuch ist voll von präzisen Messwerten wie „5.2 kN/m²“ (Kilonewton pro Quadratmeter) oder „1.5 × 10⁻³ m“.

Das Problem: Der „pixelierte“ Übersetzer
Die meisten modernen KI-Modelle verwenden eine Methode namens Byte-Pair Encoding (BPE), um Text zu lesen. Betrachten Sie dies wie einen Übersetzer, der nur in winzigen, zerstückelten Fragmenten spricht. Um Platz zu sparen, zerlegt dieser BPE-Tokenizer Wörter in willkürliche Stücke, basierend darauf, wie oft sie in allgemeinen Büchern vorkommen.

Wenn der Text „5.2 kN/m²“ lautet, könnte ein Standard-BPE-Tokenizer es so zerlegen: 5, ., 2, k, N, /, m, ².
Für den Computer ist „5.2 kN/m²“ kein einzelnes Konzept; es ist nur ein zufälliger Haufen aus acht separaten Puzzleteilen. Der Computer muss später raten, wie er sie wieder zusammensetzt, um zu verstehen, dass es sich um eine spezifische physikalische Kraft handelt. Das ist so, als würde man versuchen, einen Satz zu verstehen, indem man nur die einzelnen Pixel der Buchstaben betrachtet, anstatt die Buchstaben selbst zu sehen.

Die Lösung: TOTEN (Der „schlaue Bibliothekar“)
Die Autoren entwickelten ein neues System namens TOTEN. Anstatt zu raten, wie Wörter basierend auf Statistiken zerlegt werden sollten, agiert TOTEN wie ein wissensbasierter Bibliothekar, der über ein strenges, formales Regelwerk (eine „Ontologie“) verfügt, was technische Begriffe tatsächlich sind.

So funktioniert TOTEN, unter Verwendung einfacher Analogien:

Das Regelwerk (Die Ontologie): Bevor TOTEN auch nur ein Wort liest, besitzt es ein vorgefertigtes Wörterbuch mit technischen Regeln. Es weiß, dass „kN“ eine Einheit für Kraft ist, „m²“ eine Fläche und „5.2“ eine Zahl. Es rät nicht; es kennt die Definitionen auswendig.
Die drei Experten-Assistenten (Orakel): TOTEN versucht nicht, jeden möglichen Tippfehler oder jedes Symbol auswendig zu lernen. Stattdessen ruft es drei vertrauenswürdige Experten zu Hilfe:
- Pint: Der Experte für Maßeinheiten (weiß genau, was ein „Kilowatt“ ist).
- Unicode-Datenbank: Der Experte für Symbole und Schriftarten (weiß, dass eine hochgestellte „2“ ein Quadrat darstellt und nicht nur eine Zahl ist).
- RSLP: Der Experte für portugiesische Grammatik (weiß, dass „potências“ im technischen Kontext „Potenzen“ bedeutet).
Der Sortierprozess: Wenn TOTEN den Text „5.2 kN/m²“ sieht, zerlegt es ihn nicht. Es schaut in sein Regelwerk und zu den Experten und sagt: „Ah, das Ganze ist ein einziger, atomarer Block namens 'Physikalische Größe'.“ Es hüllt die gesamte Phrase in ein einzelnes, beschriftetes Tag und bewahrt so die exakte Bedeutung.

Die Ergebnisse: Warum es wichtig ist
Die Autoren testeten TOTEN gegen acht andere Top-Systeme (einschließlich der Standard-„pixelierten“ Übersetzer und anderer Zahlenerkennungstools) unter Verwendung eines Benchmarks aus 800 technischen Fällen und vier weiteren realen portugiesischen Textsammlungen.

Atomizität (Dinge ganz lassen): TOTEN war perfekt darin, physikalische Größen als einzelne, ununterbrochene Einheiten beizubehalten. Die anderen Systeme brachen sie oft auseinander.
Rekonstruktion (Zusammensetzen): Wenn der Computer die eigentliche Zahl und Einheit später extrahieren musste, konnte TOTEN dies in 78 % bis 90 % der Fälle korrekt tun. Das beste Konkurrenzsystem erreichte nur etwa 63 % bis 70 %.
Genauigkeit: Der Unterschied war nicht nur ein wenig besser; er war statistisch signifikant. TOTEN hat nicht nur geraten; es nutzte sein Regelwerk, um konsistent das richtige Ergebnis zu liefern.

Das Fazit
TOTEN beweist, dass man für technische, wissenschaftliche Texte nicht auf „statistisches Raten“ angewiesen ist (was gut für die Alltagssprache funktioniert, aber bei Ingenieurwesen versagt). Stattdessen kann man einen strukturierten, regelbasierten Ansatz verwenden, der technische Begriffe als vollständige, bedeutungsvolle Objekte behandelt.

Das Paper behauptet, dass diese Methode es Computern ermöglicht, die Struktur von Zahlen und Einheiten genau so zu „sehen“, wie es Ingenieure beabsichtigen, ohne sie in verwirrende Fragmente zu zerlegen. Es ist ein spezialisiertes Werkzeug, das speziell dafür entwickelt wurde, brasilianischen portugiesischen technischen Text für Maschinen lesbar zu machen und sicherzustellen, dass „5.2 kN/m²“ als eine einzige, kohärente Idee und nicht als ein wirres Chaos aus Zeichen behandelt wird.

Technisches Resümee: TOTEN – Wissensbasierte ontologische Tokenisierung physikalischer Größen in brasilianischem Portugiesisch

1. Problemstellung

Derzeitige statistische Tokenisierungsalgorithmen (z. B. Byte-Pair Encoding, WordPiece, SentencePiece), die die Vorverarbeitung von Large Language Models (LLMs) dominieren, sind auf die Komprimierung des Vokabulars optimiert und nicht auf die semantische Erhaltung. Bei der Anwendung auf technischen Text in brasilianischem Portugiesisch (PT-BR) fragmentieren diese Methoden semantisch atomare Entitäten – wie etwa physikalische Größen, lokalspezifische Zahlen, zusammengesetzte Dimensionseinheiten und symbolische Ausdrücke – in willkürliche Subword-Sequenzen. Diese Fragmentierung zwingt nachgeschaltete Modelle dazu, die ursprüngliche semantische Struktur a posteriori zu rekonstruieren, ein Prozess, der empirischen Studien zufolge das numerische Denken und die Arithmetik-Genauigkeit verschlechtert. Darüber hinaus bilden bestehende Werkzeuge zur Extraktion quantitativer Daten für das Englische das spezifische technische Vokabular und die normativen Identifikatoren (z. B. NBR, ABNT) von PT-BR nicht adäquat ab, während generische Named Entity Recognition (NER)-Modelle technische-wissenschaftliche Kategorien ignorieren.

2. Methodik

Das Paper schlägt TOTEN (Typed Ontological Tokenization) vor, ein Framework, das die statistische Ableitung durch eine deklarative Klassifizierung ersetzt, die auf einer formalen Ontologie basiert.

2.1 Formalisierung

TOTEN wird als Tripel $\langle O, \text{classify}, \{inst_\tau\} \rangle$ formalisiert:

$O$ (Ontology of Engineering Entities - OEE): Eine formale Ontologie, die aus einem Satz primärer Typen ( $T$ ), Strukturprinzipien ( $P$ ), Kompositionsrelationen ( $R$ ) und Invarianten ( $I$ ) besteht. Die Typen umfassen physikalische Größen, technische Identifikatoren, formale Operatoren und hierarchische Referenzen. Die Ontologie wird von acht Axiomen (z. B. Intrinsizität, mediatisierte Komposition, kategorischer Fehler) gesteuert, die sicherstellen, dass Typen durch intrinsische Eigenschaften und nicht durch Korpusfrequenz definiert sind.
$\text{classify}$ : Eine Funktion, die den Rohtext ( $\Sigma^*$ ) in eine Menge typisierter Regionen $R_\Sigma$ abbildet, wobei Textspannen identifiziert und ihnen basierend auf der Ontologie ein Typ zugewiesen wird.
$\{inst_\tau\}$ : Eine indizierte Familie von Instanziatoren, die klassifizierte Regionen in eine strukturierte Ausgabesprache $M$ überführen. Diese Schicht formatiert die Daten, ohne den Typ erneut zu entscheiden, und hält sich an das Prinzip der „Single Authority“.

2.2 Architektur und externe Orakel

Das Framework koppelt die OEE mit drei konsolidierten externen Orakeln, um Robustheit ohne manuelle Enumeration zu gewährleisten:

Pint: Liefert die dimensionale Autorität für Maßeinheiten und SI-Präfixe.
Unicode Character Database (UCD): Verarbeitet typografische Marker (Hoch- und Tiefstellungen, mathematische Operatoren) über Zeicheneigenschaften statt über eine zeichenweise Enumeration.
RSLP: Ein Standard-Morphologie-Algorithmus für Portugiesisch, der Flexionen auf lemmatische Wurzeln reduziert, um die Disambiguierung von Einzelbuchstaben-Einheiten zu unterstützen (z. B. Unterscheidung zwischen „K“ in „temperatura“ und „K“ in „Kelvin“).

2.3 Ausgabesprache

Die Ausgabe ist eine strukturierte Sequenz von Tags, die mit unklassifiziertem Resttext durchsetzt sind. Jeder Tag enthält eine Typenidentifikation und Attribute (z. B. value, unit, dim, locale). Entscheidend ist, dass das System die wörtliche Form des Quelltextes außerhalb der typisierten Regionen bewahrt, wodurch sichergestellt wird, dass die numerische Repräsentation (Locale, Trennzeichen, wissenschaftliche Notation) für die nachgeschaltete Verarbeitung intakt bleibt.

3. Zentrale Beiträge

Das Paper identifiziert drei primäre wissenschaftliche Beiträge:

(C1) Formalisierung der ontologischen Tokenisierung: Definition der Tokenisierung als ein Tripel $\langle O, \text{classify}, \{inst_\tau\} \rangle$ , das implementierungsunabhängig und über verifizierbare Eigenschaften bewertbar ist, wodurch es sich kategorisch von der statistischen Subword-Tokenisierung unterscheidet.
(C2) Die OEE-Ontologie: Eine formale Ontologie von Engineering-Entitäten mit primären Typen, die durch intrinsische Eigenschaften definiert sind, acht strukturellen Axiomen und deklarierten Kompositionsrelationen, konzipiert für die Erweiterbarkeit nach dem Prinzip „Open-for-extension, closed-for-modification“.
(C3) Intrinsisches Evaluierungsprotokoll: Eine recheneffiziente Evaluierung basierend auf vier durch Konstruktion verifizierbaren Eigenschaften:
1. Ontologische Atomizität: Entitäten werden als einzelne, unteilbare Tags mit korrekten Typen ausgegeben.
2. Dimensionale Äquivalenz: Dimensionale Vektoren äquivalenter Größen stimmen überein.
3. Typografische Robustheit: Semantisch äquivalente notationale Varianten erhalten identische Typen.
4. Numerische Rekonstruktion: Die Fähigkeit, Wert und Einheit mit hoher Fidelität programmatisch zu extrahieren.

4. Experimentelle Ergebnisse

Die Evaluierung nutzte einen intern generierten, physikalisch validierten Benchmark (EngQuant, $N=800$ ) und vier externe PT-BR Korpora (MMMLU PT_BR, BLUEX, ENEM Maritaca, Alvorada-Bench; insgesamt $N=1.771$ relevante Fälle). TOTEN wurde gegen acht State-of-the-Art-Systeme verglichen, darunter statistische Tokenizer (BPE-Varianten), spezialisierte Extraktoren (Quantulum3, CQE, GLiNER), dimensionale Bibliotheken (Pint, udunits-2) und generische NER (spaCy).

Ontologische Atomizität: TOTEN erreichte eine Einheit der Atomizität von 1.000 auf dem internen Benchmark und übertraf damit signifikant den besten Baseline-Wert (Quantulum3 mit 0.297) und statistische Tokenizer (ca. 0.48).
Numerische Rekonstruktion:
- Interner Benchmark: TOTEN erzielte einen Score von 0.780, was signifikant höher ist als der beste Baseline-Wert CQE (0.340) und Quantulum3 (0.220).
- Externe Korpora: TOTEN behielt die Führung über alle vier externen Datensätze bei und erzielte Scores zwischen 0.775 und 0.904. Im Gegensatz dazu lag der beste Baseline-Wert (Quantulum3) zwischen 0.627 und 0.703.
- Die statistische Signifikanz wurde mittels McNemar-Tests mit Holm-Korrektur ( $p < 0.001$ ) bestätigt.
Dimensionale Äquivalenz: TOTEN erreichte eine bedingte Genauigkeit von 0.968, was eine statistische Parität mit dem Pint-Orakel (0.985) aufweist und bestätigt, dass das System die dimensionale Autorität ohne Verzerrung übernimmt.
Typografische Robustheit: TOTEN erreichte 0.326 (global) und 0.325 (lokalisiert) und übertraf damit andere Systeme, die Entitäten beim Auftreten unerwarteter notationaler Varianten fragmentieren.
Ablationsstudien: Das Entfernen des Pint-Orakels verursachte einen signifikanten Abfall des Recalls und der dimensionalen Genauigkeit, was dessen Rolle als dimensionale Autorität bestätigt. Das Entfernen von UCD oder RSLP hatte vernachlässigbare Auswirkungen auf den spezifischen Engineering-Benchmark, was deren gezielte Nützlichkeit für typografische bzw. morphologische Ambiguitäten validiert.
Konkurrente Validität: Eine starke Spearman-Rangkorrelation ( $\rho \geq 0.856$ ) zwischen den Rankings der internen und externen Korpora bestätigte, dass der EngQuant-Benchmark ein getreuer Stellvertreter für die reale Leistung ist.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass TOTEN einen kategorialen Vorteil gegenüber der statistischen Tokenisierung bietet, indem es die semantische Struktur technischer Entitäten bewahrt, bevor sie die Konsumentenmodelle erreichen. Im Gegensatz zu statistischen Methoden, die auf distributiven Eigenschaften beruhen, ist TOTEN semantisch verpflichtet gegenüber einer Konzeptualisierung der Domäne, die durch die OEE definiert wird.

Zentrale Ansprüche sind:

Wiederherstellung intrinsischer Eigenschaften: Das Framework stellt Eigenschaften (numerische Struktur, Locale, dimensionale Vektoren) wieder her, die rein statistische Pipelines systematisch verlieren.
Neurosymbolische Kompatibilität: TOTEN positioniert sich als symbolische Vorverarbeitungsschicht, die mit neurosymbolischen Architekturen kompatibel ist und eine domänensemantisch gebundene Repräsentation erzeugt, die sowohl von statistischen Modellen als auch von symbolischen Agenten konsumiert werden kann.
Modater Umfang: Die Autoren geben explizit an, dass die Auswirkungen dieser Repräsentation auf die Leistung der nachgeschalteten Konsumentenmodelle (z. B. verbesserte Arithmetik-Genauigkeit) außerhalb des Scopes dieser Studie liegen und als zukünftige Arbeit deklariert werden. Die Evaluierung ist rein intrinsisch und konzentriert sich auf die Qualität der Eingaberepräsentation selbst.
Limitierungen: Das System normalisiert typografisch degradierte Notationen nicht aktiv (sondern bewahrt die wörtliche Form) und hat konstruktionsbedingt eine partielle Abdeckung für dimensionslose Einheiten, um lexikalische Kollisionen mit portugiesischen Wörtern zu vermeiden.

Zusammenfassend zeigt das Paper, dass ein wissensbasierter, ontologischer Ansatz zur Tokenisierung statistisch signifikante Verbesserungen bei der Atomizität und der numerischen Rekonstruktion für technische Texte in brasilianischem Portugiesisch erzielen kann, und bietet somit eine robuste Alternative zu statistischen Kompressionsmethoden für Domänen, die eine hohe semantische Fidelität erfordern.