Layer Wise IndoBERT Representation Evolution for Indonesian Misinformation Detection

Resumen Técnico: Evolución de la Representación por Capas de IndoBERT para la Detección de Desinformación en Indonesio

Planteamiento del Problema
La rápida proliferación de la desinformación en las redes sociales, particularmente en lenguas de bajos recursos como el bahasa indonesio, presenta un desafío crítico para los sistemas de detección automatizados. Los bulos (hoaxes) en este contexto suelen depender de sutiles cambios semánticos, encuadres emocionales y manipulación contextual en lugar de falsedades explícitas, lo que dificulta su detección mediante claves léxicas superficiales. Aunque los modelos basados en transformers, específicamente IndoBERT, han demostrado un sólido rendimiento predictivo en la detección de noticias falsas en indonesio, se tratan predominantemente como "cajas negras". La investigación existente se centra en métricas de precisión (precisión, exhaustividad, puntuación F1), pero carece de información sobre cómo se codifican, transforman y consolidan las características relevantes para la tarea a través de las capas internas de la red. Además, las diferencias funcionales de las distintas estrategias de representación de oraciones (por ejemplo, tokens [CLS] frente a embeddings de media ponderada o mean-pooled) permanecen inexploradas en este dominio.

Metodología
El estudio emplea un marco de análisis sistemático de representación por capas aplicado a modelos IndoBERT ajustados (fine-tuned) (variantes Base, Large y Lite) entrenados para una tarea de detección binaria de bulos.

• Conjunto de Datos: Se construyó un conjunto de datos curado de 11,200 artículos de noticias completos (equilibrados entre bulos y no bulos) integrando datos de portales de noticias profesionales indonesios y plataformas de verificación de hechos verificadas. Los datos se dividieron en 80% para entrenamiento, 10% para validación y 10% para prueba.
• Entrenamiento del Modelo: Múltiples variantes de IndoBERT fueron ajustadas de extremo a extremo utilizando el optimizador Adam (tasa de aprendizaje $2 \times 10^{-5}$, tamaño de lote 32) durante hasta 10 épocas con parada temprana (early stopping).
• Extracción de Representación: El estudio extrae los estados ocultos de todas las capas del transformer ($H_0$ a $H_L$). Se analizan dos estrategias distintas de representación a nivel de oración:
  1. Representación basada en [CLS]: El estado oculto del token de clasificación especial.
  2. Representación de media ponderada (mean-pooled): El promedio de todos los embeddings de los tokens en la secuencia.
• Métrica de Análisis: Se computa la similitud de coseno entre los embeddings de nivel de oración de capas adyacentes para cuantificar el cambio representacional. Una similitud menor indica una transformación significativa, mientras que una mayor sugiere estabilidad o convergencia.
• Análisis Cualitativo: El estudio incluye una inspección de las muestras clasificadas erróneamente, la sensibilidad a la longitud de la entrada y el impacto del ruido del mundo real (por ejemplo, errores de codificación, artefactos de raspado de datos o scraping) para contextualizar los hallazgos cuantitativos.

Resultajes Clave

1. Rendimiento Predictivo: Los modelos IndoBERT ajustados alcanzaron un alto rendimiento, con IndoBERT-Base logrando un 98% de precisión y un 99% de puntuación F1, superando significativamente a las líneas base clásicas (Naïve Bayes, LSTM) y al modelo multilingüe mBERT.
2. Evolución Representacional en Tres Fases: El análisis de similitud por capas reveló una progresión consistente y no lineal de las representaciones en todas las variantes de IndoBERT:
   • Capas Tempranas (Estabilidad): La alta similitud entre capas adyacentes indica que el procesamiento inicial preserva las estructuras lingüísticas y sintácticas preentrenadas.
   • Capas Medias (Transformación): Las caídas más sustanciales en la similitud de coseno ocurren en las capas intermedias (aproximadamente capas 4–9). Esto indica una zona de reorganización representacional activa donde las características semánticas específicas de la tarea se forman y refinan progresivamente.
   • Capas Superiores (Convergencia): La similitud aumenta nuevamente en las capas finales, sugiriendo una estabilización y convergencia hacia representaciones alineadas con la tarea para la clasificación.
3. Diferenciación Funcional de las Representaciones:
   • Representaciones [CLS]: Exhiben transiciones más agudas y una especialización más agresiva en las capas medias, alineándose estrechamente con el objetivo de clasificación.
   • Representaciones de Media Ponderada (Mean-Pooled): Muestran transiciones semánticas más suaves y graduales a través de las capas, preservando la continuidad semántica distribuida.
4. Observaciones de Robustez: El análisis cualitativo reveló que las clasificaciones erróneas suelen ser impulsadas por distorsiones de bajo nivel en la entrada (por ejemplo, errores de codificación, tokens fragmentados) en lugar de ambigüedad semántica de alto nivel. Estos artefactos interrumpen la geometría representacional en las capas tempranas y medias, impidiendo que las capas superiores formen embeddings estables alineados con la tarea. Además, el modelo mostró sensibilidad a la longitud de la entrada, teniendo dificultades con textos truncados que carecen de suficientes pistas contextuales para la reestructuración de la capa media.

Significancia y Reivindicaciones
El artículo afirma que su contribución principal es cambiar el enfoque analítico de un rendimiento puramente predictivo hacia la dinámica de representación interna de los modelos transformer en la detección de desinformación en lenguas de bajos recursos.

• Perspectiva Empírica: El estudio proporciona evidencia empírica de que IndoBERT no refina las representaciones de manera lineal. En su lugar, identifica las capas medias como las "zonas de transformación" críticas donde emergen y se reorganizan las características relacionadas con los bulos, mientras que las capas superiores sirven para consolidar estas características.
• Interpretabilidad: Al caracterizar los roles distintos de los embeddings [CLS] y de media ponderada, el trabajo destaca cómo la sumarización orientada a la tarea y la continuidad semántica distribuida evolucionan de manera diferente dentro de la misma arquitectura.
• Implicación Práctica: Los hallazgos sugieren que el éxito de IndoBERT en la detección de bulos es consecuencia de este refinamiento progresivo y estructurado. Por consiguiente, la fiabilidad del modelo está estrechamente vinculada a la calidad de las representaciones de entrada; el ruido de bajo nivel puede desestabilizar toda la jerarquía representacional, incluso si el clasificador final es altamente preciso.
• Dirección Futura: Los autores postulan que la comprensión de estas dinámicas internas puede informar el desarrollo de modelos transformer más eficientes, interpretables y con base diagnóstica, permitiendo potencialmente arquitecturas de salida temprana (early-exit) o un mejor manejo de datos ruidosos del mundo real.

El estudio concluye que, si bien las métricas de rendimiento confirman la eficacia de IndoBERT, el análisis por capas es esencial para comprender cómo el modelo procesa fenómenos lingüísticos complejos como la ambigüedad y la manipulación del discurso, ofreciendo una base para sistemas de detección de desinformación más robustos y transparentes.