🤖 AI

Toten: Knowledge-Based Ontological Tokenization Of Physical Quantities And Technical Notation In Brazilian Portuguese

Este artigo introduz o TOTEN, um framework de tokenização ontológica baseada em conhecimento para o português brasileiro que substitui subpalavras derivadas estatisticamente por uma abordagem declarativa e orientada por ontologia para preservar a integridade semântica e estrutural de quantidades físicas e notações técnicas, demonstrando desempenho superior em relação aos baselines de estado da arte em atomicidade de unidades e reconstrução numérica.

Autores originais: Antonio de Sousa Leitão Filho; Allan Kardec Duailibe Barros Filho; Fabrício Saul Lima; Selby Mykael Lima dos Santos; Rejani Bandeira Vieira Sousa

Publicado 2026-06-19

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Antonio de Sousa Leitão Filho; Allan Kardec Duailibe Barros Filho; Fabrício Saul Lima; Selby Mykael Lima dos Santos; Rejani Bandeira Vieira Sousa

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um computador a ler um manual de engenharia complexo escrito em português do Brasil. O manual é repleto de medições precisas como "5,2 kN/m²" (quilonewtons por metro quadrado) ou "1,5 × 10⁻³ m".

O Problema: O Tradutor "Pixelado"
A maioria dos modelos de IA modernos utiliza um método chamado Codificação de Par de Bytes (BPE - Byte-Pair Encoding) para ler texto. Pense nisso como um tradutor que fala apenas em fragmentos minúsculos e quebrados. Para economizar espaço, este tokenizador BPE fatia as palavras em pedaços arbitrários baseados na frequência com que aparecem em livros gerais.

Se o texto diz "5,2 kN/m²", um tokenizador BPE padrão pode fatiá-lo em: 5, ., 2, k, N, /, m, ².
Para o computador, "5,2 kN/m²" não é um conceito único; é apenas um amontoado aleatório de oito peças de um quebra-cabeça separadas. O computador tem que adivinhar mais tarde como juntá-las novamente para entender que se trata de uma força física específica. Isso é como tentar entender uma frase olhando para os pixels individuais das letras, em vez de olhar para as próprias letras.

A Solução: TOTEN (O "Bibliotecário Inteligente")
Os autores criaram um novo sistema chamado TOTEN. Em vez de adivinhar como fatiar palavras com base em estatísticas, o TOTEN atua como um bibliotecário baseado em conhecimento que possui um livro de regras estrito e formal (uma "ontologia") sobre o que os termos de engenharia realmente são.

Veja como o TOTEN funciona, usando analogias simples:

O Livro de Regras (A Ontologia): Antes de ler uma única palavra, o TOTEN possui um dicionário pré-escrito de regras de engenharia. Ele sabe que "kN" é uma unidade de força, "m²" é uma área e "5,2" é um número. Ele não adivinha; ele conhece as definições de cor.
Os Três Assistentes Especialistas (Oráculos): O TOTEN não tenta memorizar cada possível erro de digitação ou símbolo. Em vez disso, ele recorre a três especialistas de confiança para ajudar:
- Pint: O especialista em unidades de medida (sabe exatamente o que é um "quilowatt").
- Banco de Dados Unicode: O especialista em símbolos e fontes (sabe que um "2" sobrescrito é um quadrado, não apenas um número).
- RSLP: O especialista em gramática do português (sabe que "potências" refere-se a potências em um contexto técnico).
O Processo de Classificação: Quando o TOTEN vê o texto "5,2 kN/m²", ele não o fatia. Ele consulta seu livro de regras e os especialistas e diz: "Ah, tudo isso é um único bloco atômico chamado 'Grandeza Física'." Ele envolve toda a frase em uma única etiqueta rotulada, preservando o significado exato.

Os Resultados: Por Que Isso Importa
Os autores testaram o TOTEN contra outros oito sistemas de alto nível (incluindo os tradutores "pixelados" padrão e outras ferramentas de busca de números) usando um benchmark de 800 casos de engenharia e quatro outras coleções de textos do mundo real em português.

Atomicidade (Manter as coisas inteiras): O TOTEN foi perfeito em manter as grandezas físicas como unidades únicas e ininterruptas. Os outros sistemas frequentemente as fragmentavam.
Reconstrução (Colocar de volta no lugar): Quando o computador precisava extrair o número e a unidade reais posteriormente, o TOTEN conseguia fazer isso corretamente de 78% a 90% das vezes. O melhor sistema concorrente conseguiu apenas cerca de 63% a 70%.
Precisão: A diferença não foi apenas um pouco melhor; foi estatisticamente significativa. O TOTEN não apenas adivinhou; ele usou seu livro de regras para obter a resposta correta de forma consistente.

A Conclusão
O TOTEN prova que, para textos técnicos e científicos, você não precisa depender de "adivinhação estatística" (que funciona bem para conversas casuais, mas falha na engenharia). Em vez disso, você pode usar uma abordagem estruturada e baseada em regras que trata termos técnicos como objetos completos e significativos.

O artigo afirma que este método permite que os computadores "vejam" a estrutura de números e unidades exatamente como os engenheiros pretendem, sem quebrá-los em fragmentos confusos. É uma ferramenta especializada projetada especificamente para tornar o texto técnico em português do Brasil legível para máquinas, garantindo que "5,2 kN/m²" seja tratado como uma ideia única e coerente, em vez de uma bagunça jumbled de caracteres.

Resumo Técnico: TOTEN – Tokenização Ontológica Baseada em Conhecimento de Grandezas Físicas em Português Brasileiro

1. Declaração do Problema

Os algoritmos de tokenização estatística atuais (ex: Byte-Pair Encoding, WordPiece, SentencePiece), que dominam o pré-processamento de Grandes Modelos de Linguagem (LLMs), são otimizados para compressão de vocabulário em vez de preservação semântica. Quando aplicados a textos técnicos em Português Brasileiro (PT-BR), esses métodos fragmentam entidades semanticamente atômicas — como grandezas físicas, números específicos de localidade, unidades dimensionais compostas e expressões simbólicas — em sequências arbitrárias de subpalavras. Essa fragmentação força os modelos de processamento posterior a reconstruir a estrutura semântica original a posteriori, um processo que estudos empíricos sugerem degradar o raciocínio numérico e a precisão aritmética. Além disso, ferramentas existentes de extração quantitativa para o inglês não modelam adequadamente o vocabulário técnico específico e os identificadores normativos (ex: NBR, ABNT) do PT-BR, enquanto modelos genéricos de Reconhecimento de Entidades Nomeadas (NER) ignoram categorias técnico-científicas.

2. Metodologia

O artigo propõe o TOTEN (Typed Ontological Tokenization — Tokenização Ontológica Tipada), um framework que substitui a derivação estatística pela classificação declarativa fundamentada em uma ontologia formal.

2.1 Formalização

O TOTEN é formalizado como a tríplice $\langle O, \text{classify}, \{inst_\tau\} \rangle$ :

$O$ (Ontologia de Entidades de Engenharia - OEE): Uma ontologia formal compreendendo um conjunto de tipos primários ( $T$ ), princípios estruturais ( $P$ ), relações de composição ( $R$ ) e invariantes ( $I$ ). Os tipos incluem grandezas físicas, identificadores técnicos, operadores formais e referências hierárquicas. A ontologia é governada por oito axiomas (ex: Intrinsicidade, Composição Mediada, Erro Categórico) que garantem que os tipos sejam definidos por propriedades intrínsecas em vez da frequência no corpus.
$\text{classify}$ : Uma função que mapeia o texto bruto ( $\Sigma^*$ ) em um conjunto de regiões tipadas $R_\Sigma$ , identificando intervalos de texto e atribuindo-lhes um tipo com base na ontologia.
$\{inst_\tau\}$ : Uma família indexada de instanciadores que mapeiam as regiões classificadas em uma linguagem de saída estruturada $M$ . Esta camada formata os dados sem decidir novamente o tipo, aderindo ao princípio da "autoridade única".

2.2 Arquitetura e Oráculos Externos

O framework acopla a OEE a três oráculos externos consolidados para garantir robustez sem necessidade de enumeração manual:

Pint: Fornece a autoridade dimensional para unidades de medida e prefixos do SI.
Unicode Character Database (UCD): Lida com marcadores tipográficos (sobrescritos, subscritos, operadores matemáticos) via propriedades de caracteres em vez de enumeração caractere por caractere.
RSLP: Um algoritmo morfológico padrão da língua portuguesa usado para reduzir inflexões a raízes lemáticas, ajudando a desambiguar unidades de letra única (ex: distinguir "K" em "temperatura" de "K" em "Kelvin").

2.3 Linguagem de Saída

A saída é uma sequência estruturada de tags intercaladas com o texto residual não classificado. Cada tag contém um identificador de tipo e atributos (ex: value, unit, dim, locale). Crucialmente, o sistema preserva a forma literal do texto de origem fora das regiões tipadas, garantindo que a representação numérica (localidade, separadores, notação científica) permaneça intacta para o processamento posterior.

3. Principais Contribuições

O artigo identifica três contribuições científicas primárias:

(C1) Formalização da Tokenização Ontológica: Definir a tokenização como uma tríplice $\langle O, \text{classify}, \{inst_\tau\} \rangle$ que é independente de implementação e avaliável via propriedades verificáveis, distinguindo-se categoricamente da tokenização de subpalavras estatística.
(C2) A Ontologia OEE: Uma ontologia formal de entidades de engenharia com tipos primários definidos por propriedades intrínsecas, oito axiomas estruturais e relações de composição declaradas, projetada para ser extensível sob o princípio "aberto para extensão, fechado para modificação".
(C3) Protocolo de Avaliação Intrínseca: Uma avaliação computacionalmente de baixo custo baseada em quatro propriedades verificáveis por construção:
1. Atomicidade Ontológica: Entidades são emitidas como tags únicas e indivisíveis com tipos corretos.
2. Equivalência Dimensional: Vetores dimensionais de grandezas equivalentes coincidem.
3. Robustez Tipográfica: Variantes de notação semanticamente equivalentes recebem tipos idênticos.
4. Reconstrução Numérica: A capacidade de extrair programaticamente valor e unidade com alta fidelidade.

4. Resultados Experimentais

A avaliação utilizou um benchmark gerado internamente e validado fisicamente (EngQuant, $N=800$ ) e quatro corpora externos de PT-BR (MMMLU PT_BR, BLUEX, ENEM Maritaca, Alvorada-Bench; total $N=1.771$ casos elegíveis). O TOTEN foi comparado contra oito sistemas de estado da arte, incluindo tokenizadores estatísticos (variantes BPE), extratores especializados (Quantulum3, CQE, GLiNER), bibliotecas dimensionais (Pint, udunits-2) e NER genérico (spaCy).

Atomicidade Ontológica: O TOTEN alcançou 1.000 de atomicidade unitária no benchmark interno, superando significativamente o melhor baseline (Quantulum3 com 0.297) e os tokenizadores estatísticos (aprox. 0.48).
Reconstrução Numérica:
- Benchmark Interno: O TOTEN pontuou 0.780, significativamente superior ao melhor baseline CQE (0.340) e Quantulum3 (0.220).
- Corpora Externos: O TOTEN manteve a liderança em todos os quatro conjuntos de dados externos, alcançando pontuações entre 0.775 e 0.904. Em contraste, o melhor baseline (Quantulum3) variou entre 0.627 e 0.703.
- A significância estatística foi confirmada via testes de McNemar com correção de Holm ( $p < 0.001$ ).
Equivalência Dimensional: O TOTEN alcançou 0.968 de acurácia condicional, mostrando paridade estatística com o oráculo Pint (0.985), confirmando que o sistema herda a autoridade dimensional sem distorção.
Robustez Tipográfica: O TOTEN alcançou 0.326 (global) e 0.325 (escopada), superando outros sistemas que fragmentam entidades ao encontrar variantes de notação imprevistas.
Estudos de Ablação: A remoção do oráculo Pint causou uma queda significativa no recall e na acurácia dimensional, confirmando seu papel como autoridade dimensional. A remoção do UCD ou RSLP teve efeitos negligenciáveis no benchmark de engenharia específico utilizado, validando sua utilidade direcionada para ambiguidades tipográficas e morfológicas, respectivamente.
Validade Concorrente: Uma forte correlação de ranking de Spearman ( $\rho \geq 0.856$ ) entre o ranking dos corpora internos e externos confirmou que o benchmark EngQuant é um proxy fiel para o desempenho no mundo real.

5. Significância e Alegações

O artigo afirma que o TOTEN oferece uma vantagem categórica sobre a tokenização estatística ao preservar a estrutura semântica de entidades técnicas antes que elas cheguem aos modelos consumidores. Diferente dos métodos estatísticos que dependem de propriedades distributivas, o TOTEN é semanticamente comprometido com uma conceitualização do domínio definida pela OEE.

As principais alegações incluem:

Recuperação de Propriedades Intrínsecas: O framework recupera propriedades (estrutura numérica, localidade, vetores dimensionais) que pipelines puramente estatísticos perdem sistematicamente.
Compatibilidade Neurosimbólica: O TOTEN posiciona-se como uma camada de pré-processamento simbólico compatível com arquiteturas neurosimbólicas, produzindo uma representação semanticamente comprometida com o domínio que pode ser consumida tanto por modelos estatísticos quanto por agentes simbólicos.
Escopo Modesto: Os autores afirmam explicitamente que o efeito desta representação no desempenho do modelo consumidor (ex: melhoria na acurácia aritmética) está fora do escopo deste estudo e é deixado como trabalho futuro. A avaliação é estritamente intrínseca, focando na qualidade da própria representação de entrada.
Limitações: O sistema não normaliza ativamente a notação tipograficamente degradada (preservando a forma literal em vez disso) e possui cobertura parcial para unidades adimensionais por construção, para evitar colisões lexicais com palavras da língua portuguesa.

Em conclusão, o artigo demonstra que uma abordagem de tokenização baseada em conhecimento e ontologia pode alcançar melhorias estatisticamente significativas em atomicidade e reconstrução numérica para textos técnicos em português brasileiro, fornecendo uma alternativa robusta aos métodos de compressão estatística para domínios que exigem alta fidelidade semântica.