Resumen Técnico: NormEval – Un Marco Unificado de Métricas Múltiples para la Evaluación de la Fidelidad Semántica en la Normalización de Texto

1. Planteamiento del Problema

Las técnicas de normalización de texto, como la derivación (stemming) y la lematización, son fundamentales en los procesos de Procesamiento de Lenguaje Natural (NLP), ya que reducen el tamaño del vocabulario y permiten que los modelos generalicen a través de variantes morfológicas. Sin embargo, la evaluación de estos métodos sufre una brecha metodológica crítica: los enfoques existentes dependen de paradigios aislados de métrica única que no logran distinguir entre la reducción beneficiosa del vocabulario y la distorsión semántica perjudicial.

La literatura actual se basa en tres paradigmas insuficientes:

1. Compresión Intrínseca: Medir la reducción del vocabulario (p. ej., Ratio de Compresión). Esto no detecta si la reducción colapsa palabras semánticamente no relacionadas.
2. Precisión Extrínseca de Tareas Aguas Abajo (Downstream): Medir el rendimiento del clasificador en el texto normalizado. Esta es una señal gruesa que confunde la calidad de la normalización con la arquitectura del modelo y las características del conjunto de datos, ocultando a menudo errores.
3. Puntuaciones de Predicción de Secuencias: Utilizar métricas como BLEU frente a referencias de oro (gold-standard). Esto requiere recursos anotados escasos para lenguas de bajos recursos y no logra capturar la utilidad posterior o la fidelidad semántica.

Consecuentemente, no existe un marco estandarizado para detectar la degradación semántica —la pérdida o distorsión gradual del significado durante el procesamiento— lo cual es particularmente problemático en lenguas morfológicamente ricas (p. ej., bengalí, árabe), donde la derivación agresiva puede fusionar conceptos distintos, provocando fallos de precisión/exhaustividad (precision/recall) en dominios de alto riesgo como el soporte de decisiones clínicas y el análisis legal.

2. Metodología: El Marco NormEval

El artículo propone NormEval, un marco de evaluación unificado y basado en datos que integra cinco métricas complementarias a través de tres dimensiones ortogonales: Eficiencia a Nivel Macro, Utilidad de Tareas Aguas Abajo y Fidelidad Morfolológica a Nivel Micro.

Las Cinco Métricas

1. Ratio de Compresión (CR): Mide el porcentaje de reducción en el tamaño del vocabulario.
   • $CR = \frac{\# \text{Palabras Únicas Antes}}{\# \text{Palabras Únicas Después}}$
   • Indica la eficiencia a nivel macro pero no evalúa la validez semántica.
2. Delta de Rendimiento del Modelo (MPD): Cuantifica el cambio en el rendimiento de la tarea aguas abajo (p. ej., F1-macro) entre el texto normalizado y el original.
   • $MPD = \mathcal{P}_{norm} - \mathcal{P}_{orig}$
   • Actúa como un "control de higiene" más que como una métrica de rendimiento primaria; detecta si la normalización perjudica la utilidad de la tarea.
3. Puntuación de Retención de Información (IRS): Mide la preservación semántica a nivel macro utilizando embeddings contextuales de transformadores (p. ej., BanglaBERT, DistilBERT).
   • Se calcula como la similitud de coseno entre los vectores de embedding agregados de los documentos originales y normalizados.
   • Un IRS alto indica que el texto normalizado retiene el significado original.
4. **Puntuación de Efectividad del Algoritmo (AES): la media armónica unificada de la Ganancia de Reducción de Vocabulario (VRG) (una transformación acotada de CR) y el IRS.
   • $AES = \frac{2 \cdot IRS \cdot VRG}{IRS + VRG}$
   • Asegura que una puntuación alta requiera tanto eficiencia como fidelidad semántica, penalizando a los algoritmos que sobresalen en una sola dimensión.
5. Distancia de Levenshtein Normalizada Promedio (ANLD): Una métrica de diagnóstico a nivel de carácter que actúa como un Portal de Seguridad (Safety Gate).
   • Calcula la distancia de edición normalizada promedio entre los tokens originales y sus formas normalizadas.
   • Detecta la "sobre-derivación destructiva" (mutaciones agresivas) que los embeddings macro (IRS) y las tareas posteriores (MPD) pueden enmascarar.

Diseño Experimental

El marco fue validado a través de tres entornos experimentales:

• Generalizabilidad Multilingüe: Evaluado en el benchmark XNLI sobre seis lenguas tipológicamente diversas (árabe, alemán, inglés, español, francés, ruso) utilizando un protocolo de transferencia translingüe cero-shot (zero-shot).
• Estudio de Ablación: Realizado en conjuntos de datos de complejidad de oraciones en inglés y bengalí (BTSD) para probar la necesidad de cada métrica mediante la eliminación sistemática de las mismas.
• Evaluación de Robustez: Probado en un corpus de clasificación de sentimiento en bengalí con desequilibrio de clases y cambio de dominio para verificar la capacidad del marco para detectar riesgos morfológicos en escenarios realistas.

3. Contribuciones Clave

1. Marco Unificado: Introduce NormEval, el primer marco que evalúa simultáneamente la compresión intrínseca, la utilidad de tareas aguas abajo, la preservación semántica, la distorsión morfológica a nivel micro y la robustez estadística.
2. Formalismo del Portal de Seguridad: Propone el uso de umbrales de ANLD para detectar la sobre-derivación dañina que es invisible para las métricas basadas en embeddings (IRS) o las puntuaciones de precisión.
3. Reevaluación de MPD: Proporciona evidencia empírica de que la precisión de la tarea aguas abajo (F1-score) es un proxy poco fiable para la calidad de la normalización por sí sola, ya que las ganancias suelen ser estadísticamente insignificantes ($p > 0.05$). Redefine el MPD como un control de "higiene" para prevenir la degradación.
4. Consistencia Translingüística: Demuestra que herramientas con puntuaciones AES idénticas pueden diferir significativamente en riesgo morfológico, una distinción que solo es visible a través del marco multidimensional.
5. Ecosistema de Código Abierto: Lanza un paquete de Python reproducible (normeval) que contiene todos los conjuntos de datos, benchmarks e interfaces de evaluación.

4. Resultados Clave

• Hallazgos Multilingües (XNLI): Las lenguas morfológicamente ricas (árabe, español, ruso) exhibieron una alta compresión pero también puntuaciones de ANLD elevadas (>0.32) y una degradación significativa del rendimiento en tareas aguas abajo (MPD negativo). Crucialmente, el IRS se mantuvo moderado (0.70–0.81), confirmando que la similitud de embeddings por sí sola no logra señalar la severa distorsión a nivel de caracteres.
• Hallazgos de Ablación: Eliminar cualquier métrica individual del marco conducía a clasificaciones incorrectas de los algoritmos.
  • Sin CR, no se podían distinguir los algoritmos eficientes de los conservadores.
  • Sin MPD, no se podía detectar la normalización perjudicial que degrada el rendimiento de la tarea.
  • Sin IRS/AES, se perdía el equilibrio entre eficiencia y fidelidad.
  • Sin ANLD, el marco fallaba al detectar la "sobre-derivación destructiva" (p. ej., BNLTK en bengalí), clasificándola erróneamente como superior a otras alternativas más seguras basándose únicamente en IRS y AES.
• Hallazgos de Robustez: En la tarea de sentimiento en bengalí, el algoritmo con mayor AES (BNLTK) fue señalado como inseguro debido a un alto ANLD (0.26) y un MPD negativo. Por el contrario, un algoritmo más conservador (BanLemma) con un AES menor pero un ANLD seguro (0.18) produjo una mejora de 7.31 puntos porcentuales en el F1-macro de SVM. Esto valida la Hipótesis del Portal de Seguridad: el ANLD es necesario para identificar riesgos morfológicos que comprometen la utilidad de la tarea.

5. Significación y Reivindicaciones

El artículo sostiene que NormEval aborda un fallo sistémico en las metodologías de evaluación actuales, que a menudo permiten que la "corrupción silenciosa" del significado pase inadvertida. Al operacionalizar la Hipótesis del Portal de Seguridad, el marco proporciona un método basado en principios y lingüísticamente informado para seleccionar algoritmos de normalización.

Los autores afirman que NormEval no es meramente una herramienta de diagnóstico, sino un sistema de soporte para la toma de decisiones en aplicaciones de NLP de alto riesgo (p. ej., clínicas, legales). Permite a los profesionales:

• Evitar la selección de algoritmos que parecen eficientes (alto CR/AES) pero que son semánticamente destructivos (alto ANLD).
• Calibrar los umbrales de ANLD según los requisitos de tareas específicas (p. ej., umbrales más estrictos para el análisis de sentimiento frente a umbrales más relajados para la recuperación de información).
• Asegurar que la normalización mejore, en lugar de degradar encubiertamente, los sistemas inteligentes.

El artículo concluye que, aunque el estudio actual se centra en la derivación (stemming) y la lematización, el marco sienta las bases para procesos de NLP más fiables y lingüísticamente informados en diversas lenguas y tareas.