Forgotten Words: Benchmarking NeoBERT for Dementia Detection in Low-Resource Conversational Filipino and English Speech

Este artigo apresenta a primeira avaliação sistemática da detecção de demência baseada em transformers em fala com alternância de código filipino-inglês, demonstrando que, embora modelos monolíngues não generalizem entre idiomas, o ajuste fino bilíngue elimina efetivamente a degradação de desempenho interlinguística e alcança alta precisão independentemente da arquitetura do modelo.

O essencial

Imagine que você está tentando ensinar um computador a identificar os primeiros sinais de demência apenas ouvindo como as pessoas falam. O computador precisa reconhecer "pistas" específicas na fala, como repetir palavras, ficar preso ou usar frases mais simples, que frequentemente ocorrem quando a memória de alguém começa a falhar.

O problema é que a maioria desses "computadores inteligentes" (modelos de IA) foi treinada apenas em inglês. Eles são como detetives especialistas que só resolveram crimes em Londres. Se você subitamente mostrar a eles uma cena de crime em Manila, onde as pessoas falam uma mistura de filipino e inglês (frequentemente chamada de "Taglish"), o detetive de Londres fica confuso e falha em resolver o caso.

Este artigo, intitulado "Palavras Esquecidas", é um boletim de desempenho sobre o quão bem esses detetives de IA se saem quando mudamos o idioma do inglês para o filipino. Aqui está o que os pesquisadores encontraram, explicado de forma simples:

1. O "Detetive de Londres" vs. O "Detetive de Manila"

Os pesquisadores criaram um conjunto de testes especial. Eles pegaram 2.000 transcrições reais de fala de pacientes com demência e pessoas saudáveis em inglês e as traduziram manualmente para o filipino. Eles não usaram um tradutor robótico porque os robôs tendem a "limpar" a fala desorganizada, e a desorganização (as pausas e repetições) é na verdade a pista que eles estão procurando.

Em seguida, eles testaram cinco tipos diferentes de modelos de IA:

• A Velha Guarda: Um sistema simples baseado em matemática (TF-IDF).
• O Padrão: O modelo clássico treinado em inglês (BERT).
• A Nova Tecnologia: Um modelo modernizado apenas em inglês (NeoBERT).
• O Poliglota: Um modelo treinado em 100 idiomas (XLM-RoBERTa).
• O Especialista Local: Um modelo treinado especificamente em texto filipino (RoBERTa-Tagalog).

2. A Grande Surpresa: "Um Idioma, Um Cérebro"

A descoberta mais importante é que conhecer a doença em inglês não ajuda a conhecê-la em filipino.

• O Fracasso: Quando treinaram o modelo padrão em inglês com dados em inglês e o testaram em filipino, seu desempenho despencou. Ele passou de um detetive com 95% de precisão em inglês para um com 45% de precisão em filipino. Era essencialmente um chute.
• A Assimetria: Curiosamente, foi ligeiramente mais fácil para um modelo treinado em filipino entender o inglês do que o contrário. Isso provavelmente ocorre porque a conversa em filipino inclui naturalmente muitas palavras em inglês (alternância de código), então o modelo treinado em filipino aprendeu acidentalmente alguns padrões em inglês. Mas um modelo puramente em inglês não fazia ideia do que fazer com a gramática filipina.
• A Armadilha da "Nova Tecnologia": Eles testaram o NeoBERT, uma versão sofisticada e modernizada do modelo em inglês. Você poderia pensar: "Mais novo e mais rápido significa melhor, certo?" Não aqui. O NeoBERT foi na verdade pior na troca de idiomas. Tornou-se tão especializado em inglês que ficou rígido e não conseguiu se adaptar ao filipino de forma alguma. É como um chef que é perfeito em fazer culinária francesa que não consegue nem fazer um sanduíche simples se você pedir para ele trocar para ingredientes italianos.

3. A Solução: A "Sala de Aula Bilíngue"

Então, como consertar um detetive que só fala um idioma? Você não compra um novo detetive; você ensina o atual a falar os dois.

Os pesquisadores tentaram o Ajuste Fino Bilíngue. Isso é como colocar a IA em uma sala de aula onde ela precisa aprender com uma mistura de alunos em inglês e filipino ao mesmo tempo.

• O Resultado: Esta foi uma bala de prata. Quando os modelos foram treinados em ambos os idiomas juntos, a lacuna de desempenho desapareceu. Seja o modelo do tipo "Velha Guarda", o NeoBERT de "Nova Tecnologia" ou o "Especialista Local", todos de repente se tornaram detetives excelentes em ambos os idiomas, marcando cerca de 97% de precisão.
• A Lição: Não importava quão sofisticada fosse a arquitetura do modelo. O que importava era quais idiomas ele foi exposto durante seu treinamento. Se os dados de treinamento incluíssem ambos os idiomas, o modelo aprendeu a reconhecer os padrões da demência independentemente do idioma. Se ele só visse um idioma, ele se perdia no outro.

4. Por Que Isso Importa (Segundo o Artigo)

O artigo conclui que, para ambientes com poucos recursos (lugares onde não há muitos dados) e lugares onde as pessoas misturam idiomas (como as Filipinas), você não precisa de um modelo de IA maior ou mais complexo.

Você apenas precisa garantir que o modelo aprenda com uma mistura de idiomas. O "segredo" não é um cérebro melhor; é uma lista de vocabulário melhor que inclua tanto inglês quanto filipino.

Analogia de Resumo

Pense na detecção de demência como reconhecer uma música específica.

• Modelos apenas em inglês são como pessoas que só conhecem a música em inglês. Se você tocar a música em filipino, elas não reconhecem a melodia.
• NeoBERT é como uma pessoa que conhece a música em inglês perfeitamente e pode cantá-la mais rápido, mas ainda não reconhece a versão em filipino.
• Treinamento Bilíngue é como ensinar a pessoa a ouvir a música em ambos os idiomas ao mesmo tempo. De repente, ela percebe: "Ah, é a mesma melodia!" e consegue reconhecê-la não importa em qual idioma seja cantada.

O artigo prova que, para construir um sistema que funcione para todos, devemos ensinar a IA a ouvir a todos, não apenas aos falantes de inglês.

Resumo técnico

Resumo Técnico: Palavras Esquecidas – Benchmarking do NeoBERT para Detecção de Demência em Fala Conversacional Filipina e Inglês de Baixos Recursos

Declaração do Problema

A detecção de demência por meio de fala espontânea oferece uma abordagem escalável para triagem cognitiva, no entanto, os sistemas atuais de Processamento de Linguagem Natural (PLN) permanecem predominantemente centrados no inglês. Essa limitação é crítica nas Filipinas, onde a fala cotidiana envolve frequentemente alternância de código filipino-inglês (Taglish), e nenhum trabalho anterior abordou a detecção de demência baseada em PLN nesse contexto. Os benchmarks existentes para PLN filipino focam em texto escrito (por exemplo, notícias, mídias sociais) e falham em abordar fala naturalista, discurso clínico ou tarefas de diagnóstico cognitivo. Além disso, embora codificadores baseados em transformadores dominem o PLN clínico, sua aplicação à detecção de demência dependeu amplamente de variantes arquitetônicas que diferem apenas nos dados de pré-treinamento, deixando em aberto a questão de se a modernização arquitetônica (por exemplo, NeoBERT) melhora a robustez em configurações clínicas multilíngues de baixos recursos.

Metodologia

Construção do Conjunto de Dados

Para isolar efeitos linguísticos de efeitos de domínio, os autores construíram um conjunto de dados bilíngue paralelo de 4.000 transcrições conversacionais derivadas do DementiaBank.

• Fonte: 2.000 transcrições em inglês (1.000 positivas para demência, 1.000 controles saudáveis) da tarefa de descrição da imagem "Roubo de Biscoito".
• Tradução para Filipino: O conjunto em inglês foi traduzido manualmente para o filipino por tradutores humanos. Crucialmente, os tradutores foram instruídos a preservar marcadores de nível de discurso do declínio cognitivo (repetições, hesitações, falsos começos, degradação sintática) em vez de normalizar a fala para fluência. A tradução automática foi evitada para evitar apagar características diagnósticas.
• Pré-processamento: Todas as transcrições passaram por normalização Unicode/espaço em branco e minúsculas. Disfluências foram mantidas, pois são correlatos estabelecidos de comprometimento cognitivo. Nenhuma stemming ou lematização foi aplicada para evitar degradar sinais diagnósticos. Sequências foram truncadas para 128 tokens.

Famílias de Modelos e Baselines

Cinco famílias de modelos foram avaliadas em três regimes de treinamento: Apenas Inglês (EN), Apenas Filipino (TL) e Bilíngue (EN+TL).

1. TF-IDF + Regressão Logística: Uma baseline lexical para avaliar estatísticas de tokens de nível superficial.
2. BERT-base-uncased: Pré-treinamento padrão apenas em inglês.
3. NeoBERT: Uma arquitetura de codificador modernizada (usando Embeddings Posicionais Rotacionais, Pré-Normalização de Camada, SwiGLU) pré-treinada exclusivamente em inglês (RefinedWeb).
4. XLM-RoBERTa: Um modelo multilíngue de 100 idiomas.
5. RoBERTa-Tagalog: Um modelo correspondente ao idioma pré-treinado em um grande corpus filipino (TLUnified).

Protocolo Experimental

• Treinamento: Os modelos foram ajustados finamente usando pooling médio sobre os estados ocultos finais (em vez de tokens [CLS]) e otimização AdamW. Hiperparâmetros foram selecionados via busca em grade para evitar divergência de perda em conjuntos de dados pequenos.
• Avaliação: O desempenho foi medido usando Macro-F1 e Acurácia via validação cruzada estratificada de 10 dobras.
• Configurações:
  • Intra-domínio: Treinar e testar no mesmo idioma.
  • Zero-shot Multilíngue: Treinar em um idioma, testar no outro.
  • Bilíngue: Treinar no corpus combinado, testar em dobras de idioma misto retidas.
• Métrica: A Lacuna de Generalização Multilíngue ($\Delta F1$) foi definida como a diferença absoluta entre as pontuações F1 intra-domínio e multilíngue.

Resultados Principais

1. Falha Multilíngue no Treinamento Monolíngue

Desempenho forte intra-domínio não se transferiu entre idiomas.

• BERT treinado em inglês alcançou um F1 intra-domínio de 0,952 em inglês, mas caiu para 0,455 em filipino ($\Delta = 0,497$).
• BERT treinado em filipino alcançou 0,981 em filipino, mas caiu para 0,705 em inglês ($\Delta = 0,276$).
• A assimetria sugere que o inglês permanece um prior mais forte no espaço de representação devido à exposição no pré-treinamento, e o ajuste fino em filipino não sobrescreve completamente essa geometria.

2. Modernização Arquitetônica Não Garante Robustez

NeoBERT, apesar de seus avanços arquitetônicos, não melhorou a robustez multilíngue.

• NeoBERT treinado em inglês performou comparavelmente ao BERT intra-domínio (F1=0,952), mas degradou significativamente em filipino (F1=0,617) com alta variância ($\sigma=0,109$).
• Isso indica que a modernização arquitetônica sozinha cria limites de decisão monolíngues mais estreitos que melhoram a fidelidade intra-domínio, mas reduzem a tolerância à variação linguística.

3. O Papel da Cobertura de Pré-treinamento

• XLM-RoBERTa (Multilíngue) mostrou a menor lacuna de transferência de inglês para filipino ($\Delta=0,013$), sugerindo um espaço de representação compartilhado. No entanto, a transferência de filipino para inglês foi mais fraca ($\Delta=0,161$), provavelmente devido ao inglês dominar seu corpus de pré-treinamento.
• RoBERTa-Tagalog (Correspondente ao idioma) surpreendentemente alcançou transferência quase idêntica de inglês para filipino ($\Delta=0,017$) comparado ao XLM-RoBERTa. Os autores atribuem isso ao extenso empréstimo lexical inglês e alternância de código inerentes ao filipino conversacional, permitindo que um modelo pré-treinado em filipino capture estruturas inglesas embutidas. No entanto, ele lutou mais na direção reversa ($\Delta=0,218$).

4. Ajuste Fino Bilíngue Elimina Degradação

A descoberta mais significativa é que o ajuste fino bilíngue (treinamento em ambos os idiomas simultaneamente) eliminou a degradação multilíngue em todos os modelos transformadores.

• Todos os modelos convergiram para um Macro-F1 de 0,969–0,973 no conjunto de testes combinado.
• A lacuna multilíngue encolheu para 0,027–0,037 para todas as arquiteturas, incluindo NeoBERT.
• Isso sugere que o principal gargalo não é a capacidade arquitetônica, mas o alinhamento representacional. A supervisão bilíngue força o modelo a aprender regiões compatíveis no espaço de incorporação para ambos os idiomas.

5. Sensibilidade Clínica

Sob mudança de idioma, a acurácia agregada pode obscurecer modos de falha.

• BERT treinado em inglês manteve alta recall de demência em filipino (0,931), mas colapsou na classe Saudável (F1=0,216), efetivamente prevendo a maioria das amostras filipinas como positivas para demência.
• O treinamento bilíngue resolveu essas instabilidades, com todos os modelos transformadores alcançando recall de demência >0,93 com baixa variância.

Significado e Alegações

O artigo alega fornecer a primeira avaliação sistemática da detecção de demência baseada em transformadores em fala filipina e a primeira avaliação do NeoBERT em um cenário de PLN clínico.

A conclusão central é que o desempenho de PLN clínico multilíngue é impulsionado principalmente pela cobertura linguística durante o treinamento, e não pela escala do modelo ou arquitetura.

• Modernização arquitetônica (por exemplo, NeoBERT) sozinha não produz ganhos multilíngues consistentes e pode aumentar a sensibilidade à mudança de idioma.
• Supervisão bilíngue é a estratégia mais eficaz para alcançar desempenho estável e clinicamente consistente entre idiomas, eliminando efetivamente a lacuna de generalização multilíngue.
• O estudo destaca que, para configurações de baixos recursos e alternância de código como as Filipinas, garantir cobertura linguística adequada durante o treinamento da tarefa é mais crítico do que modificações arquitetônicas.

Limitações Reconhecidas pelos Autores

• Fonte de Dados: O conjunto de dados filipino foi construído via tradução manual de transcrições em inglês, não a partir de fala de pacientes locais coletada organicamente. Embora disfluências estruturais tenham sido preservadas, o conteúdo semântico reflete a fonte original em inglês.
• Modalidade: O estudo foca exclusivamente em texto, excluindo características acústicas (tom, duração de pausa) que também são marcadores diagnósticos.
• Interpretabilidade: Os mecanismos que impulsionam as decisões do modelo em contextos multilíngues permanecem opacos, necessitando de trabalho futuro sobre interpretabilidade para confiança clínica.