Resumen Técnico: TOTEN – Tokenización Ontológica Basada en el Conocimiento de Cantidades Físicas en Portugués Brasileño

1. Planteamiento del Problema

Los algoritmos actuales de tokenización estadística (por ejemplo, Byte-Pair Encoding, WordPiece, SentencePiece), que dominan el preprocesamiento de los Modelos de Lenguaje de Gran Escala (LLM), están optimizados para la compresión del vocabulario en lugar de la preservación semántica. Al aplicarse a textos técnicos en portugués brasileño (PT-BR), estos métodos fragmentan entidades semánticamente atómicas —como cantidades físicas, números específicos de la localización, unidades dimensionales compuestas y expresiones simbólicas— en secuencias arbitrarias de subpalabras. Esta fragmentación obliga a los modelos descendentes a reconstruir la estructura semántica original a posteriori, un proceso que estudios empíricos sugieren que degrada el razonamiento numérico y la precisión aritmética. Además, las herramientas existentes de extracción cuantitativa para el inglés no modelan adecuadamente el vocabulario técnico específico y los identificadores normativos (por ejemplo, NBR, ABNT) del PT-BR, mientras que los modelos genéricos de Reconocimiento de Entidades Nombradas (NER) ignoran las categorías técnico-científicas.

2. Metodología

El artículo propone TOTEN (Tokenización Ontológica Tipada), un marco que reemplaza la derivación estadística por la clasificación declarativa fundamentada en una ontología formal.

2.1 Formalización

TOTEN se formaliza como la terna $\langle O, \text{classify}, \{inst_\tau\} \rangle$:

• $O$ (Ontología de Entidades de Ingeniería - OEE): Una ontología formal que comprende un conjunto de tipos primarios ($T$), principios estructurales ($P$), relaciones de composición ($R$) e invariantes ($I$). Los tipos incluyen cantidades físicas, identificadores técnicos, operadores formales y referencias jerárquicas. La ontología está gobernada por ocho axiomas (p. ej., Intrínsecidad, Composición Mediada, Error Categórico) que aseguran que los tipos se definan por propiedades intrínsecas en lugar de la frecuencia del corpus.
• $\text{classify}$: Una función que mapea el texto bruto ($\Sigma^*$) en un conjunto de regiones tipadas $R_\Sigma$, identificando segmentos de texto y asignándoles un tipo basado en la ontología.
• $\{inst_\tau\}$: Una familia indexada de instanciadores que mapean las regiones clasificadas en un lenguaje de salida estructurado $M$. Esta capa formatea los datos sin volver a decidir el tipo, adhiriéndose al principio de "autoridad única".

2.2 Arquitectura y Oráculos Externos

El marco acopla la OEE con tres oráculos externos consolidados para garantizar la robustez sin necesidad de enumeración manual:

1. Pint: Proporciona la autoridad dimensional para las unidades de medida y los prefijos del SI.
2. Base de Datos de Caracteres Unicode (UCD): Gestiona los marcadores tipográficos (superíndices, subíndices, operadores matemáticos) mediante propiedades de caracteres en lugar de la enumeración carácter por carácter.
3. RSLP: Un algoritmo morfológico estándar del portugués utilizado para reducir las inflexiones a raíces lemáticas, ayudando a disambiguar unidades de una sola letra (por ejemplo, distinguiendo la "K" en "temperatura" de la "K" en "Kelvin").

2.3 Lenguaje de Salida

La salida es una secuencia estructurada de etiquetas intercaladas con texto residual no clasificado. Cada etiqueta contiene un identificador de tipo y atributos (p. ej., value, unit, dim, locale). Crucialmente, el sistema preserva la forma literal del texto fuente fuera de las regiones tipadas, asegurando que la representación numérica (localización, separadores, notación científica) permanza intacta para el procesamiento descendente.

3. Contribuciones Clave

El artículo identifica tres contribuciones científicas primarias:

• (C1) Formalización de la Tokenización Ontológica: Definir la tokenización como una terna $\langle O, \text{classify}, \{inst_\tau\} \rangle$ que es independiente de la implementación y evaluable mediante propiedades verificables, distinguiéndola categóricamente de la tokenización de subpalabras estadística.
• (C2) La Ontología OEE: Una ontología formal de entidades de ingeniería con tipos primarios definidos por propiedades intrínsecas, ocho axiomas estructurales y relaciones de composición declaradas, diseñada para ser extensible bajo el principio de "abierta para la extensión, cerrada para la modificación".
• (C3) Protocolo de Evaluación Intrínseca: Una evaluación computacionalmente económica basada en cuatro propiedades verificables por construcción:
  1. Atomicidad Ontológica: Las entidades se emiten como etiquetas únicas e indivisibles con los tipos correctos.
  2. Equivalencia Dimensional: Los vectores dimensionales de cantidades equivalentes coinciden.
  3. Robustez Tipográfica: Las variantes de notación semánticamente equivalentes reciben tipos idénticos.
  4. Reconstrucción Numérica: La capacidad de extraer programáticamente el valor y la unidad con alta fidelidad.

4. Resultados Experimentales

La evaluación utilizó un benchmark generado internamente y validado físicamente (EngQuant, $N=800$) y cuatro corpora externos de PT-BR (MMMLU PT_BR, BLUEX, ENEM Maritaca, Alvorada-Bench; total $N=1,771$ casos elegibles). TOTEN se comparó con ocho sistemas de vanguardia, incluyendo tokenizadores estadísticos (variantes de BPE), extractores especializados (Quantulum3, CQE, GLiNER), librerías dimensionales (Pint, udunits-2) y NER genérico (spaCy).

• Atomicidad Ontológica: TOTEN logró una atomicidad de unidad de 1.000 en el benchmark interno, superando significativamente al mejor baseline (Quantulum3 con 0.297) y a los tokenizadores estadísticos (aprox. 0.48).
• Reconstrucción Numérica:
  • Benchmark Interno: TOTEN obtuvo una puntuación de 0.780, significativamente superior al mejor baseline CQE (0.340) y Quantulum3 (0.220).
  • Corpora Externos: TOTEN mantuvo el liderazgo en los cuatro conjuntos de datos externos, logrando puntuaciones entre 0.775 y 0.904. En contraste, el mejor baseline (Quantulum3) osciló entre 0.627 y 0.703.
  • La significancia estadística fue confirmada mediante pruebas de McNemar con corrección de Holm ($p < 0.001$).
• Equivalencia Dimensional: TOTEN alcanzó una precisión condicional de 0.968, mostrando paridad estadística con el oráculo Pint (0.985), confirmando que el sistema hereda la autoridad dimensional sin distorsión.
• Robustez Tipográfica: TOTEN alcanzó 0.326 (global) y 0.325 (dentro del ámbito), superando a otros sistemas que fragmentan las entidades al encontrar variantes de notación imprevistas.
• Estudios de Ablación: Eliminar el oráculo Pint causó una caída significativa en la recuperación (recall) y la precisión dimensional, confirmando su papel como autoridad dimensional. Eliminar UCD o RSLP tuvo efectos insignificantes en el benchmark de ingeniería específico utilizado, validando su utilidad dirigida para ambigüedades tipográficas y morfológicas respectivamente.
• Validez Concurrente: Una fuerte correlación de rango de Spearman ($\rho \geq 0.856$) entre el ranking de los corpora internos y externos confirmó que el benchmark EngQuant es un proxy fiel del rendimiento en el mundo real.

5. Significado y Reivindicaciones

El artículo sostiene que TOTEN ofrece una ventaja categórica sobre la tokenización estadística al preservar la estructura semántica de las entidades técnicas antes de que lleguen a los modelos de consumo. A diferencia de los métodos estadísticos que dependen de propiedades distribucionales, TOTEN está semánticamente comprometido con una conceptualización del dominio definida por la OEE.

Las reivindicaciones clave incluyen:

• Recuperación de Propiedades Intrínsecas: El marco recupera propiedades (estructura numérica, localización, vectores dimensionales) que los pipelines puramente estadísticos pierden sistemáticamente.
• Compatibilidad Neurosimbólica: TOTEN se posiciona como una capa de preprocesamiento simbólico compatible con arquitecturas neurosimbólicas, produciendo una representación comprometida semánticamente con el dominio que puede ser consumida tanto por modelos estadísticos como por agentes simbólicos.
• Alcance Modesto: Los autores declaran explícitamente que el efecto descendente de esta representación en el rendimiento de los modelos de consumo (por ejemplo, mejora en la precisión aritmética) está fuera del alcance de este estudio y queda para trabajos futuros. La evaluación es estrictamente intrínseca, centráéndose en la calidad de la representación de la entrada misma.
• Limitaciones: El sistema no normaliza activamente la notación tipográficamente degradada (preserva la forma literal en su lugar) y tiene una cobertura parcial para unidades adimensionales por construcción para evitar colisiones léxicas con palabras en portugués.

En conclusión, el artículo demuestra que un enfoque de tokenización basado en el conocimiento y la ontología puede lograr mejoras estadísticamente significativas en la atomicidad y la reconstrucción numérica para textos técnicos en portugués brasileño, proporcionando una alternativa robusta a los métodos de compresión estadística para dominios que requieren una alta fidelidad semántica.