Layer Wise IndoBERT Representation Evolution for Indonesian Misinformation Detection

Resumo Técnico: Evolução da Representação por Camadas do IndoBERT para Detecção de Desinformação em Indonésio

Declaração do Problema
A rápida proliferação de desinformação nas redes sociais, particularmente em línguas de baixos recursos como o indonésio, apresenta um desafio crítico para sistemas de detecção automatizados. As notícias falsas (hoaxes) neste contexto frequentemente dependem de mudanças semânticas sutis, enquadramento emocional e manipulação contextual, em vez de falsidades explícitas, tornando-as difíceis de detectar usando pistas lexicais de superfície. Embora modelos baseados em transformers, especificamente o IndoBERT, tenham demonstrado um forte desempenho preditivo na detecção de notícias falsas em indonésio, eles são predominantemente tratados como "caixas pretas". A pesquisa existente foca em métricas de precisão (precisão, revocação, F1-score), mas carece de insights sobre como os recursos relevantes para a tarefa são codificados, transformados e consolidados através das camadas internas da rede. Além disso, as diferenças funcionais entre diferentes estratégias de representação de sentenças (por exemplo, tokens [CLS] vs. embeddings de média agrupada/mean-pooled) permanecem inexploradas neste domínio.

Metodologia
O estudo emprega uma estrutura de análise sistemática de representação por camadas aplicada a modelos IndoBERT ajustados (fine-tuned) (variantes Base, Large e Lite) treinados em uma tarefa de detecção binária de notícias falsas.

• Conjunto de Dados: Um conjunto de dados curado de 11.200 artigos de notícias completos (equilibrados entre notícias falsas e não falsas) foi construído integrando dados de portais de notícias profissionais da Indonésia e plataformas de verificação de fatos verificadas. Os dados foram divididos em 80% para treinamento, 10% para validação e 10% para teste.
• Treinamento do Modelo: Múltiplas variantes do IndoBERT foram ajustadas de ponta a ponta usando o otimizador Adam (taxa de aprendizado $2 \times 10^{-5}$, tamanho do lote 32) por até 10 épocas com interrupção precoce (early stopping).
• Extração de Representação: O estudo extrai estados ocultos de todas as camadas do transformer ($H_0$ a $H_L$). Duas estratégias distintas de representação de nível de sentença são analisadas:
  1. Representação baseada em [CLS]: O estado oculto do token de classificação especial.
  2. Representação de média agrupada (mean-pooled): A média de todos os embeddings de tokens na sequência.
• Métrica de Análise: A similaridade de cosseno é computada entre os embeddings de nível de sentença de camadas adjacentes para quantificar a mudança representacional. Uma similaridade menor indica transformação significativa, enquanto uma similaridade maior sugere estabilidade ou convergência.
• Análise Qualitativa: O estudo inclui uma inspeção de amostras classificadas incorretamente, sensibilidade ao comprimento do texto de entrada e o impacto de ruídos do mundo real (ex: erros de codificação, artefatos de raspagem de dados) para contextualizar os achados quantitativos.

Principais Resultados

1. Desempenho Preditivo: Os modelos IndoBERT ajustados alcançaram alto desempenho, com o IndoBERT-Base atingindo 98% de acurácia e 99% de F1-score, superando significativamente os baselines clássicos (Naïve Bayes, LSTM) e o modelo multilíngue mBERT.
2. Evolução Representacional em Três Fases: A análise de similaridade camada a camada revelou uma progressão consistente e não linear de representações em todas as variantes do IndoBERT:
   • Camadas Iniciais (Estabilidade): Alta similaridade entre camadas adjacentes indica que o processamento inicial preserva estruturas linguísticas e sintáticas pré-treinadas.
   • Camadas Intermediárias (Transformação): As quedas mais substanciais na similaridade de cosseno ocorrem nas camadas intermediárias (aproximadamente camadas 4–9). Isso indica uma zona de reorganização representacional ativa onde recursos semânticos específicos da tarefa são progressivamente formados e refinados.
   • Camadas Superiores (Convergência): A similaridade aumenta novamente nas camadas finais, sugerindo uma estabilização e convergência em direção a representações alinhadas com a tarefa para classificação.
3. Diferenciação Funcional de Representações:
   • Representações [CLS]: Exibem transições mais nítidas e uma especialização mais agressiva nas camadas intermediárias, alinhando-se de perto com o objetivo de classificação.
   • Representações de Média Agrupada (Mean-Pooled): Mostram transições semânticas mais suaves e graduais através das camadas, preservando a continuidade semântica distribuída.
4. Observações de Robustez: A análise qualitativa revelou que as classificações incorretas são frequentemente impulsionadas por distorções de baixo nível na entrada (ex: erros de codificação, tokens fragmentados) em vez de ambiguidade semântica de alto nível. Esses artefatos interrompem a geometria representacional nas camadas iniciais e médias, impedindo que as camadas superiores formem embeddings estáveis e alinhados à tarefa. Além disso, o modelo mostrou sensibilidade ao comprimento da entrada, tendo dificuldade com textos truncados que carecem de pistas contextuais suficientes para a reestruturação das camadas médias.

Significância e Alegações
O artigo afirma que sua principal contribuição é mudar o foco analítico do desempenho puramente preditivo para a dinâmica representacional interna dos modelos transformer na detecção de desinformação em línguas de baixos recursos.

• Insight Empírico: O estudo fornece evidências empíricas de que o IndoBERT não refina as representações de forma linear. Em vez disso, identifica as camadas médias como as zonas críticas de "transformação" onde os recursos relacionados a notícias falsas emergem e são reorganizados, enquanto as camadas superiores servem para consolidar esses recursos.
• Interpretabilidade: Ao caracterizar os papos distintos dos embeddings [CLS] e de média agrupada, o trabalho destaca que a sumarização orientada à tarefa e a continuidade semântica distribuída evoluem de formas diferentes dentro da mesma arquitetura.
• Implicação Prática: Os achados sugerem que o sucesso do IndoBERT na detecção de notícias falsas é consequência dessa refinação estruturada e progressiva. Consequentemente, a confiabilidade do modelo está intimamente ligada à qualidade das representações de entrada; o ruído de baixo nível pode desestabilizar toda a hierarquia representacional, mesmo que o classificador final seja altamente preciso.
• Direção Futura: Os autores postulam que compreender essas dinâmicas internas pode informar o desenvolvimento de modelos transformer mais eficientes, interpretáveis e diagnosticamente fundamentados, permitindo potencialmente arquiteturas de saída antecipada (early-exit) ou melhor tratamento de dados ruidosos do mundo real.

O estudo conclui que, embora as métricas de desempenho confirmem a eficácia do IndoBERT, a análise camada a camada é essencial para entender como o modelo processa fenômenos linguísticos complexos como ambiguidade e manipulação de discurso, oferecendo uma base para sistemas de detecção de desinformação mais robustos e transparentes.