💬 NLP

Beyond Clean Text: Evaluating Encoder and Decoder Robustness for Bangla Event Detection in Noisy Text

Este artículo presenta un benchmark exhaustivo de detección de eventos en bengalí con datos ruidosos para demostrar que, si bien los modelos de solo codificador sobresalen en texto limpio, los LLM de solo decodificador ofrecen una robustez superior al ruido del mundo real, una brecha que puede reducirse mediante el entrenamiento combinado y el escalado de modelos.

Autores originales: Tanvir Ahmed Sijan, S. M Golam Rifat, Nayeemul Islam, Md. Musfique Anwar

Publicado 2026-07-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Tanvir Ahmed Sijan, S. M Golam Rifat, Nayeemul Islam, Md. Musfique Anwar

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando entender una historia que te cuentan. A veces, la historia es contada con total claridad por un presentador de noticias profesional. Otras veces, es contada por un amigo que tiene un resfriado, que está escribiendo en un teclado roto o que habla a través de un micrófono que chisporrotea.

Este documento trata sobre cómo enseñar a las computadoras a entender eventos (como "un ciclón azotó", "una protesta comenzó" o "los precios subieron") en el idioma bengalí, específicamente cuando el texto es desordenado, ruidoso o está lleno de errores tipográficos.

Aquí está el desglose de su estudio usando analogías simples:

1. El Problema: La "Habitación Limpia" vs. El "Mundo Real"

La mayoría de los programas informáticos que leen noticias son entrenados en una "habitación limpia". Solo ven texto perfecto y editado. Pero en el mundo real, el texto es desordenado. Proviene de:

ASR (Reconocimiento Automático del Habla): Computadoras que intentan transcribir noticias habladas, cometiendo errores en las palabras a menudo debido a acentos o ruido de fondo.
Errores tipográficos (Typos): Personas escribiendo rápido en teléfonos, presionando las teclas equivocadas o mezclando letras que suenan de forma similar.

Los investigadores se preguntaron: Si entrenamos a una computadora con texto perfecto, ¿seguirá funcionando cuando el texto sea desordenado?

2. El Experimento: Dos Tipos de "Lectores"

Probaron dos tipos diferentes de "lectores" de IA en una colección masiva de 9,979 oraciones en bengalí (algunas perfectas, otras desordenadas):

El "Especialista" (Modelos Encoder como BanglaBERT): Piensa en esto como un bibliotecario altamente capacitado. Si el libro es perfecto, este bibliotecario es increíblemente rápido y preciso para encontrar palabras específicas. Son los mejores leyendo texto limpio.
El "Generalista" (LLMs Decoder como Llama 3 y Gemma): Piensa en esto como un cuentacuentos sabio y experimentado. Puede que no sean tan rápidos encontrando una palabra específica en un libro perfecto, pero son excelentes entendiendo la historia incluso si el hablante tartamudea o escribe mal las palabras. Usan el contexto para adivinar lo que se quiso decir.

3. El Gran Descubrimiento: El Intercambio (Trade-Off)

Los resultados mostraron una clara división de personalidad entre los dos tipos de lectores:

En Texto Limpio: El Especialista (Encoder) gana. Encuentra los eventos con la mayor precisión.
En Texto Desordenado: El Generalista (Decoder) gana. Cuando el texto está lleno de errores tipográficos o errores de habla, el Especialista se confunde y falla. El Generalista, sin embargo, mantiene la calma. Usa su "sentido común" para deducir que con "syclone" se referían a "cyclone".

La Analogía:
Imagina a un campeón de deletreo (el Especialista) frente a un detective experimentado (el Generalista).

Si la palabra está escrita perfectamente, el campeón la deletrea instantáneamente.
Si la palabra está escrita con una letra faltante o un acento extraño, el campeón se queda paralizado. El detective, sin embargo, observa las pistas alrededor de la palabra y dice: "Ah, claramente se referían a 'cyclone'".

4. El "Disparador" vs. El "Contexto"

Los investigadores profundizaron para ver por qué el Generalista era mejor. Encontraron una debilidad específica en el Especialista:

Corrupción del Disparador (Trigger Corruption): Si la palabra clave del evento (el "disparador", como la palabra "arresto") está mal escrita, el Especialista falla por completo. El Generalista aún puede deducirlo.
Corrupción del Contexto (Context Corruption): Si las palabras circundantes son desordenadas pero la palabra clave es perfecta, el Especialista en realidad lo hace bastante bien.

La Lección: El Generalista es mejor adivinando el significado de una palabra clave rota. El Especialista es mejor leyendo la historia circundante si la palabra clave está intacta.

5. Cómo Hacerlos Más Fuertes (Trucos de Entrenamiento)

El documento probó dos formas de hacer que estos lectores de IA fueran más resistentes:

Darles un Libro de Reglas (Ajuste de Instrucción / Instruction Tuning): Le dieron al Generalista una "hoja de trucos" detallada explicando exactamente qué es un evento.
- Resultado: Esto hizo al Generalista más inteligente en general, pero no siempre lo hizo mejor manejando el ruido. A veces, conocer las reglas de forma demasiado estricta lo hacía menos flexible.
Entrenar con Datos Desordenados (Entrenamiento Combinado): Entrenaron a la IA con una mezcla de texto perfecto y texto desordenado.
- Resultado: Esto fue la solución mágica para el Especialista. Al practicar con texto desordenado, el Especialista aprendió a ignorar el ruido. No mejoró mucho en la lectura de texto perfecto, pero se volvió mucho menos propenso a entrar en pánico cuando el texto se ensuciaba. Esto redujo la brecha entre los dos tipos de IA.

6. Más Grande no Siempre es Mejor (Para Todos)

Para el Generalista (Decoder): Hacer el modelo más grande (más "capacidad cerebral") lo hizo consistentemente más robusto contra el ruido. Un detective más grande es mejor resolviendo casos desordenados.
Para el Especialista (Encoder): Hacer el modelo más grande no ayudó mucho con el ruido. Un bibliotecario más grande sigue estando tan confundido por un error tipográfico como uno pequeño.

Resumen

El documento concluye que si quieres que una IA detecte eventos en el mundo real (donde el texto suele ser desordenado, hablado o lleno de errores tipográficos), no deberías confiar únicamente en los modelos "Especialistas" entrenados con datos perfectos.

En su lugar, deberías usar los modelos "Generalistas" (Decoder), que son naturalmente más resilientes al ruido, o debes entrenar a tus modelos "Especialistas" con datos desordenados para enseñarles cómo manejar el mundo real. La vieja forma de probar solo con texto limpio da una falsa sensación de seguridad.

Resumen Técnico: Más allá del texto limpio: Evaluando la robustez de codificadores y decodificadores para la detección de eventos en bengalí en textos con ruido

Planteamiento del problema
Los sistemas de Detección de Eventos (ED, por sus siglas en inglés) se evalúan predominantemente en textos limpios y curados, lo que deja sin explorar su robustez ante el ruido del mundo real, especialmente para lenguas de bajos recursos como el bengalí. En aplicaciones prácticas, como el monitoreo de emergencias, los datos son inherentemente ruidosos debido a errores tipográficos, variaciones ortográficas y fallos de transcripción de Reconocimiento Automático del Habla (ASR). La investigación actual de ED en bengalí se limita a dominios estrechos (p. ej., violencia, desastres) y texto limpio, careciendo de una ontología generalizada comparable a ACE 2005. Además, el campo no ha comparado sistemáticamente la robustez de los modelos tradicionales de solo codificador (p. ej., basados en BERT) frente a los modernos modelos de lenguaje de gran tamaño (LLM) de solo decodificador ajustados por instrucciones bajo condiciones de ruido realistas.

Metodología
Los autores abordan estas brechas mediante el desarrollo de un benchmark integral y un marco de evaluación sistemático:

Ontología y construcción del conjunto de datos:
- Ontología: Se desarrolló una ontología de eventos de noticias en bengalí generalizada extendiendo ACE 2005 con tipos de eventos localmente relevantes derivados de los corpora GDELT y GKG. El esquema final incluye 14 categorías principales de eventos y 40 subtipos.
- Datos: El benchmark comprende 9,979 oraciones anotadas que contienen 7,813 menciones de eventos. El conjunto de datos se divide en:
  - Texto de noticias limpio: 5,320 oraciones de los principales periódicos de Bangladesh.
  - Transcripciones de ASR del mundo real: 4,659 oraciones de transmisiones de video de noticias, capturando errores de transcripción naturales, variaciones dialectales y coloquialismos.
  - Ruido ortográfico simulado: El conjunto de prueba limpio fue corrompido utilizando un algoritmo basado en patrones comunes de escritura en bengalí (p. ej., sustituciones fonéticas, errores de proximidad de teclado) con Tasas de Corrupción de Palabras (WCR) del 10% al 40%.
- Anotación: Los datos fueron anotados por seis anotadores humanos con un coeficiente $\kappa$ de Cohen de 0.72, seguido de un proceso de adjudicación de dos etapas.
Arquitecturas de modelos y entrenamiento:
- Solo Codificador: Se entrenaron BanglaBERT (Base/Large) y XLM-RoBERTa (Base/Large) como tareas de clasificación de tokens.
- Solo Decodificador: LLMs ajustados por instrucciones (Llama 3.1/3.2 y Gemma 3 en configuraciones de 1B, 4B y 8B) fueron entrenados mediante la generación de secuencias estructuradas. La detección de eventos se formuló como generación de código (dataclasses de Python) con directrices de anotación opcionales incrustadas como docstrings en el prompt.
- Estrategias de entrenamiento: Los modelos fueron evaluados bajo dos condiciones: entrenamiento exclusivamente con datos limpios y entrenamiento con un conjunto de datos combinado de textos limpios y transcripciones de ASR ruidosas.
Protocolo de evaluación:
- El rendimiento se midió utilizando Macro-F1 para considerar el desequilibrio de clases.
- La robustez se cuantificó como la degradación del rendimiento ( $\Delta F1$ ) entre los conjuntos de prueba limpios y las condiciones de ruido (ASR y ortográfica).
- Un análisis específico utilizando la prueba exacta de McNemar distinguió entre "corrupción del disparador" (ruido en la palabra del evento misma) y "corrupción del contexto" (ruido en las palabras circundantes).

Contribuciones clave

Ontología generalizada y Benchmark: El lanzamiento de la primera ontología de eventos de noticias en bengalí generalizada y un conjunto de datos benchmark que abarca texto limpio, ASR del mundo real y ruido ortográfico simulado.
Comparación arquitectónica: Una evaluación sistemática que compara arquitecturas de solo codificador y de solo decodificador a través de diversos tamaños de parámetros y niveles de ruido.
Perspectivas de robustez: El primer estudio exhaustivo de la robustez de la ED en bengalí bajo ruido de ASR del mundo real y ruido ortográfico simulado, revelando distintos compromisos arquitectónicos.

Resultados

Compromiso arquitectónico: Los modelos de solo codificador (p. ej., BanglaBERT Large) logran un mayor rendimiento en texto limpio (Macro F1 ~68.9) pero sufren una degradación sustancial bajo ruido (hasta 14.6 puntos). En contraste, los LLM de solo decodificador (p. ej., Llama 3.1 8B) muestran un menor rendimiento pico en texto limpio pero exhiben una robustez notablemente mayor, con caídas de rendimiento significativamente menores (p. ej., ~2.7 puntos).
Corrupción del disparador vs. contexto: Los LLM de solo decodificador superan significativamente a los codificadores cuando el propio disparador del evento está corrompido. Sin embargo, cuando la corrupción se limita al contexto y el disparador permanece intacto, la brecha de rendimiento se reduce, y los codificadores a menudo rinden de manera comparable o mejor.
Impacto de las directrices de anotación: Incrustar directrices de anotación durante el ajuste por instrucciones mejora consistentemente el rendimiento tanto en datos limpios como ruidosos, pero arroja resultados inconsistentes respecto a la reducción de la degradación del rendimiento ( $\Delta F1$ ).
Impacto del entrenamiento combinado: El entrenamiento con una mezcla de datos limpios y ruidosos sirve como una estrategia de regularización efectiva. Beneficia desproporcionadamente a las arquitecturas de codificador, reduciendo significativamente la brecha de robustez con los LLM (p. ej., reduciendo la degradación de BanglaBERT de 14.6 a 7.9 puntos).
Escalamiento de modelos: Aumentar el tamaño del modelo mejora consistentemente la robustez de los LLM de solo decodificador (p. ej., los modelos 8B son más robustos que los de 1B). Por el contrario, escalar los modelos de codificador de Base a Large mejora el rendimiento en texto limpio pero no mejora consistentemente la robustez; en algunos casos, los codificadores más grandes son incluso más sensibles al ruido.

Significancia y Reivindicaciones
El artículo afirma proporcionar la primera evaluación exhaustiva de la robustez de los modelos de lenguaje para la detección de eventos en bengalí en entornos ruidosos. Destaca una limitación crítica en la investigación actual de ED: la dependencia de benchmarks limpios enmascara la fragilidad de los modelos de codificador de vanguardia en escenarios del mundo real. Los autores concluyen que, si bien los codificadores sobresalen en la localización precisa del disparador en texto limpio, los LLM de solo decodificador ofrecen una solución más robusta para aplicaciones ruidosas del mundo real, particularmente cuando el propio disparador del evento está corrompido. Además, el estudio sugiere que el entrenamiento combinado con datos limpios y ruidosos es una estrategia vital para mejorar la robustez de los codificadores, haciéndolos potencialmente viables para entornos ruidosos sin requerir la escala de los modelos de solo decodificador. El trabajo subraya la necesidad de evaluar los sistemas de ED más allá de los benchmarks de texto limpio, especialmente para lenguas de bajos recursos.