Forgotten Words: Benchmarking NeoBERT for Dementia Detection in Low-Resource Conversational Filipino and English Speech

Este artículo presenta la primera evaluación sistemática de la detección de demencia basada en transformadores en el habla con cambio de código filipino-inglés, demostrando que, aunque los modelos monolingües no logran generalizar entre idiomas, el ajuste fino bilingüe elimina eficazmente la degradación del rendimiento transcultural y alcanza una alta precisión independientemente de la arquitectura del modelo.

Lo esencial

Imagina que estás intentando enseñar a una computadora a detectar los primeros signos de demencia simplemente escuchando cómo habla la gente. La computadora necesita reconocer "señales" específicas en el habla, como repetir palabras, quedarse trabada o usar oraciones más simples, lo cual suele ocurrir cuando la memoria de alguien empieza a fallar.

El problema es que la mayoría de estas "computadoras inteligentes" (modelos de IA) solo han sido entrenadas en inglés. Son como detectives expertos que solo han resuelto crímenes en Londres. Si de repente les muestras una escena del crimen en Manila, donde la gente habla una mezcla de filipino e inglés (a menudo llamado "Taglish"), el detective de Londres se confunde y falla al resolver el caso.

Este artículo, titulado "Palabras Olvidadas", es un boletín de calificaciones sobre qué tan bien se desempeñan estos detectives de IA cuando cambiamos el idioma del inglés al filipino. Aquí está lo que los investigadores encontraron, desglosado de forma sencilla:

1. El "Detective de Londres" vs. El "Detective de Manila"

Los investigadores construyeron un conjunto de pruebas especial. Tomaron 2.000 transcripciones reales de habla de pacientes con demencia y personas sanas en inglés y las tradujeron manualmente al filipino. No utilizaron un traductor robótico porque los robots tienden a "limpiar" el habla desordenada, y el desorden (las pausas y repeticiones) es en realidad la pista que están buscando.

Luego probaron cinco tipos diferentes de modelos de IA:

• La Vieja Escuela: Un sistema simple basado en matemáticas (TF-IDF).
• El Estándar: El modelo clásico entrenado en inglés (BERT).
• La Nueva Tecnología: Un modelo modernizado solo en inglés (NeoBERT).
• El Políglota: Un modelo entrenado en 100 idiomas (XLM-RoBERTa).
• El Experto Local: Un modelo entrenado específicamente en texto filipino (RoBERTa-Tagalog).

2. La Gran Sorpresa: "Un Idioma, Un Cerebro"

El hallazgo más importante es que conocer la enfermedad en inglés no te ayuda a conocerla en filipino.

• El Fracaso: Cuando entrenaron el modelo estándar en inglés con datos en inglés y lo probaron en filipino, su rendimiento colapsó. Pasó de ser un detective con un 95% de precisión en inglés a uno con un 45% de precisión en filipino. Básicamente, estaba adivinando.
• La Asimetría: Curiosamente, fue ligeramente más fácil para un modelo entrenado en filipino entender el inglés que al revés. Esto se debe probablemente a que la conversación filipina incluye naturalmente muchas palabras en inglés (cambio de código), por lo que el modelo entrenado en filipino aprendió accidentalmente algunos patrones en inglés. Pero un modelo puramente en inglés no tenía idea de qué hacer con la gramática filipina.
• La Trampa de la "Nueva Tecnología": Probaron NeoBERT, una versión elegante y modernizada del modelo en inglés. Podrías pensar: "¿Más nuevo y rápido significa mejor, verdad?". No aquí. NeoBERT fue en realidad peor al cambiar de idioma. Se volvió tan especializado en inglés que se rigidizó y no pudo adaptarse al filipino en absoluto. Es como un chef que es tan perfecto haciendo cocina francesa que no puede ni hacer un sándwich simple si le pides que cambie a ingredientes italianos.

3. La Solución: El "Aula Bilingüe"

Entonces, ¿cómo arreglas a un detective que solo habla un idioma? No compras un detective nuevo; le enseñas al actual a hablar ambos.

Los investigadores probaron el Ajuste Fino Bilingüe. Esto es como poner a la IA en un aula donde tiene que aprender de una mezcla de estudiantes en inglés y filipino al mismo tiempo.

• El Resultado: Esta fue una bala de plata. Cuando los modelos fueron entrenados en ambos idiomas juntos, la brecha de rendimiento desapareció. Ya fuera que el modelo fuera del tipo "Vieja Escuela", el "Nueva Tecnología" NeoBERT o el "Experto Local", todos de repente se convirtieron en excelentes detectives en ambos idiomas, obteniendo una precisión de alrededor del 97%.
• La Lección: No importaba cuán sofisticada fuera la arquitectura del modelo. Lo que importaba era a qué idiomas fue expuesto durante su entrenamiento. Si los datos de entrenamiento incluían ambos idiomas, el modelo aprendió a reconocer los patrones de la demencia independientemente del idioma. Si solo vio un idioma, se perdió en el otro.

4. Por Qué Esto Importa (Según el Artículo)

El artículo concluye que para entornos con pocos recursos (lugares donde no hay muchos datos) y lugares donde la gente mezcla idiomas (como Filipinas), no necesitas un modelo de IA más grande o más complejo.

Solo necesitas asegurarte de que el modelo aprenda de una mezcla de idiomas. El "ingrediente secreto" no es un cerebro mejor; es una lista de vocabulario mejor que incluya tanto inglés como filipino.

Analogía de Resumen

Piensa en la detección de la demencia como reconocer una canción específica.

• Los modelos solo en inglés son como personas que solo conocen la canción en inglés. Si tocas la canción en filipino, no reconocen la melodía.
• NeoBERT es como una persona que conoce la canción en inglés perfectamente y puede cantarla más rápido, pero aún así no reconoce la versión en filipino.
• El Entrenamiento Bilingüe es como enseñarle a la persona a escuchar la canción en ambos idiomas al mismo tiempo. De repente, se dan cuenta: "¡Oh, es la misma melodía!" y pueden reconocerla sin importar en qué idioma se cante.

El artículo demuestra que para construir un sistema que funcione para todos, debemos enseñarle a la IA a escuchar a todos, no solo a los hablantes de inglés.

Resumen técnico

Resumen Técnico: Palabras Olvidadas – Evaluación de NeoBERT para la Detección de Demencia en Habla Conversacional Filipina e Inglés de Recursos Limitados

Declaración del Problema

La detección de demencia mediante habla espontánea ofrece un enfoque escalable para el cribado cognitivo, sin embargo, los sistemas actuales de Procesamiento del Lenguaje Natural (PLN) siguen siendo predominantemente centrados en inglés. Esta limitación es crítica en Filipinas, donde el habla cotidiana involucra frecuentemente el cambio de código filipino-inglés (Taglish), y no existe trabajo previo que aborde la detección de demencia basada en PLN en este contexto. Las evaluaciones existentes para el PLN filipino se centran en texto escrito (por ejemplo, noticias, redes sociales) y no abordan el habla naturalista, el discurso clínico o las tareas de diagnóstico cognitivo. Además, aunque los codificadores basados en transformadores dominan el PLN clínico, su aplicación a la detección de demencia ha dependido en gran medida de variantes arquitectónicas que difieren únicamente en los datos de preentrenamiento, dejando abierta la pregunta de si la modernización arquitectónica (por ejemplo, NeoBERT) mejora la robustez en entornos clínicos multilingües y de recursos limitados.

Metodología

Construcción del Conjunto de Datos

Para aislar los efectos del lenguaje de los efectos del dominio, los autores construyeron un conjunto de datos bilingüe paralelo de 4.000 transcripciones conversacionales derivadas de DementiaBank.

• Fuente: 2.000 transcripciones en inglés (1.000 positivas para demencia, 1.000 controles sanos) de la tarea de descripción de la imagen "El Robo de Galletas".
• Traducción al Filipino: El conjunto en inglés fue traducido manualmente al filipino por traductores humanos. Crucialmente, se instruyó a los traductores para preservar los marcadores a nivel de discurso del deterioro cognitivo (repeticiones, vacilaciones, comienzos falsos, degradación sintáctica) en lugar de normalizar el habla hacia la fluidez. Se evitó la traducción automática para prevenir la eliminación de características diagnósticas.
• Preprocesamiento: Todas las transcripciones sufrieron normalización de Unicode/espacios en blanco y minúsculas. Las disfluencias se conservaron ya que son correlatos establecidos del deterioro cognitivo. No se aplicó stemming ni lematización para evitar degradar las señales diagnósticas. Las secuencias se truncaron a 128 tokens.

Familias de Modelos y Líneas Base

Se evaluaron cinco familias de modelos a través de tres regímenes de entrenamiento: Solo inglés (EN), Solo filipino (TL) y Bilingüe (EN+TL).

1. TF-IDF + Regresión Logística: Una línea base léxica para evaluar estadísticas de tokens a nivel superficial.
2. BERT-base-uncased: Preentrenamiento estándar solo en inglés.
3. NeoBERT: Una arquitectura de codificador modernizada (utilizando Incrustaciones de Posición Rotatorias, Pre-LayerNorm, SwiGLU) preentrenada exclusivamente en inglés (RefinedWeb).
4. XLM-RoBERTa: Un modelo multilingüe de 100 idiomas.
5. RoBERTa-Tagalog: Un modelo coincidente con el idioma preentrenado en un corpus filipino a gran escala (TLUnified).

Protocolo Experimental

• Entrenamiento: Los modelos se ajustaron finamente utilizando agrupación media sobre los estados ocultos finales (en lugar de tokens [CLS]) y optimización AdamW. Los hiperparámetros se seleccionaron mediante búsqueda en cuadrícula para evitar la divergencia de la pérdida en conjuntos de datos pequeños.
• Evaluación: El rendimiento se midió utilizando Macro-F1 y Precisión mediante validación cruzada estratificada de 10 pliegues.
• Configuraciones:
  • Intra-dominio: Entrenar y probar en el mismo idioma.
  • Cero-shot Translingual: Entrenar en un idioma, probar en el otro.
  • Bilingüe: Entrenar en el corpus combinado, probar en pliegues de idioma mixto retenidos.
• Métrica: La Brecha de Generalización Translingual ($\Delta F1$) se definió como la diferencia absoluta entre las puntuaciones F1 intra-dominio y translingual.

Resultados Clave

1. Fallo Translingual en Entrenamiento Monolingüe

Un fuerte rendimiento intra-dominio no se transfirió entre idiomas.

• BERT entrenado en inglés logró una F1 intra-dominio de 0.952 en inglés pero cayó a 0.455 en filipino ($\Delta = 0.497$).
• BERT entrenado en filipino logró 0.981 en filipino pero cayó a 0.705 en inglés ($\Delta = 0.276$).
• La asimetría sugiere que el inglés permanece como un prior más fuerte en el espacio de representación debido a la exposición durante el preentrenamiento, y el ajuste fino en filipino no sobrescribe completamente esta geometría.

2. La Modernización Arquitectónica No Garantiza Robustez

NeoBERT, a pesar de sus avances arquitectónicos, no mejoró la robustez translingual.

• NeoBERT entrenado en inglés tuvo un rendimiento comparable al de BERT intra-dominio (F1=0.952) pero se degradó significativamente en filipino (F1=0.617) con alta varianza ($\sigma=0.109$).
• Esto indica que la modernización arquitectónica por sí sola crea límites de decisión monolingües más ajustados que mejoran la fidelidad intra-dominio pero reducen la tolerancia a la variación lingüística.

3. El Papel de la Cobertura de Preentrenamiento

• XLM-RoBERTa (Multilingüe) mostró la brecha de transferencia más pequeña de inglés a filipino ($\Delta=0.013$), sugiriendo un espacio de representación compartido. Sin embargo, la transferencia de filipino a inglés fue más débil ($\Delta=0.161$), probablemente debido a que el inglés domina su corpus de preentrenamiento.
• RoBERTa-Tagalog (Coincidente con el idioma) sorprendentemente logró una transferencia de inglés a filipino casi idéntica ($\Delta=0.017$) a la de XLM-RoBERTa. Los autores atribuyen esto al extenso préstamo léxico inglés y al cambio de código inherente al filipino conversacional, permitiendo que un modelo preentrenado en filipino capture estructuras en inglés incrustadas. Sin embargo, tuvo más dificultades en la dirección inversa ($\Delta=0.218$).

4. El Ajuste Fino Bilingüe Elimina la Degradación

El hallazgo más significativo es que el ajuste fino bilingüe (entrenar en ambos idiomas simultáneamente) eliminó la degradación translingual en todos los modelos transformadores.

• Todos los modelos convergieron a una Macro-F1 de 0.969–0.973 en el conjunto de pruebas combinado.
• La brecha translingual se redujo a 0.027–0.037 para todas las arquitecturas, incluido NeoBERT.
• Esto sugiere que el cuello de botella principal no es la capacidad arquitectónica sino la alineación representacional. La supervisión bilingüe obliga al modelo a aprender regiones compatibles en el espacio de incrustaciones para ambos idiomas.

5. Sensibilidad Clínica

Bajo un cambio de idioma, la precisión agregada puede ocultar modos de fallo.

• BERT entrenado en inglés mantuvo una alta recuperación de demencia en filipino (0.931) pero colapsó en la clase Saludable (F1=0.216), prediciendo efectivamente la mayoría de las muestras filipinas como positivas para demencia.
• El entrenamiento bilingüe resolvió estas inestabilidades, con todos los modelos transformadores logrando una recuperación de demencia >0.93 con baja varianza.

Significado y Afirmaciones

El artículo afirma proporcionar la primera evaluación sistemática de la detección de demencia basada en transformadores en habla filipina y la primera evaluación de NeoBERT en un entorno de PLN clínico.

La conclusión central es que el rendimiento del PLN clínico multilingüe está impulsado principalmente por la cobertura lingüística durante el entrenamiento y no por la escala del modelo o la arquitectura.

• La modernización arquitectónica (por ejemplo, NeoBERT) por sí sola no produce ganancias translinguales consistentes y puede aumentar la sensibilidad al cambio de idioma.
• La supervisión bilingüe es la estrategia más efectiva para lograr un rendimiento estable y clínicamente consistente entre idiomas, eliminando efectivamente la brecha de generalización translingual.
• El estudio destaca que para entornos de recursos limitados y con cambio de código como Filipinas, garantizar una cobertura lingüística adecuada durante el entrenamiento de la tarea es más crítico que las modificaciones arquitectónicas.

Limitaciones Reconocidas por los Autores

• Fuente de Datos: El conjunto de datos filipino se construyó mediante traducción manual de transcripciones en inglés, no a partir de habla de pacientes locales recolectada orgánicamente. Aunque se preservaron las disfluencias estructurales, el contenido semántico refleja la fuente original en inglés.
• Modalidad: El estudio se centra exclusivamente en texto, excluyendo características acústicas (tono, duración de pausas) que también son marcadores diagnósticos.
• Interpretabilidad: Los mecanismos que impulsan las decisiones del modelo en contextos multilingües permanecen opacos, haciendo necesaria una futura investigación sobre interpretabilidad para la confianza clínica.