🤖 AI

Mixture-of-Expert Blocks Contain Strong Hallucination Detection Signals

Este artigo apresenta o InnerExpert, um novo método de detecção de alucinação por token que aproveita sinais internos únicos de arquiteturas de Mixture-of-Experts (MoE) — como entropia do roteador e desacordo entre especialistas — para alcançar um desempenho superior em múltiplos conjuntos de dados, exigindo apenas uma única passagem direta (forward pass).

Autores originais: Joao Fonseca, Rodrigo Rodrigues, Paolo Romano

Publicado 2026-08-19

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Joao Fonseca, Rodrigo Rodrigues, Paolo Romano

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os modelos de linguagem de grande escala são os motores por trás de uma nova geração de inteligência artificial, capazes de escrever ensaios, resolver problemas e manter conversas que parecem notavelmente humanas. No entanto, sob esta fluidez reside uma falha persistente: estas máquinas às vezes inventam factos com total confiança. Este fenómeno, conhecido como alucinação, ocorre quando um modelo gera conteúdo que soa plausível, mas é inteiramente falso. Embora estes erros sejam frequentemente inofensivos numa conversa casual, tornam-se perigosos quando o modelo é utilizado para aconselhamento médico, investigação jurídica ou reportagem de notícias. O desafio central para os cientistas não é apenas detetar estas mentiras após o facto, mas sim apanhá-las no momento em que acontecem, idealmente identificando a palavra exata onde a verdade começa a desmoronar-se.

Durante anos, os investigadores tentaram resolver isto pedindo ao modelo que repetisse a sua resposta várias vezes ou verificando se diferentes versões da história concordavam entre si. Estes métodos funcionam, mas são lentos e dispendiosos, exigindo que o computador faça o mesmo trabalho várias vezes apenas para encontrar um único erro. Uma abordagem mais recente olha para dentro do próprio cére-lo do modelo enquanto este está a pensar, procurando sinais subtis de incerteza nos seus cálculos internos. No entanto, a maioria destas verificações internas limita-se a modelos padrão. Um tipo de arquitetura diferente, mais poderosa, chamada Mistura de Especialistas (Mixture-of-Experts), tornou-se recentemente popular por ser mais rápida e eficiente. Este design funciona como uma equipa de especialistas, onde um gestor central decide qual o especialista específico a convocar para cada palavra que está a ser gerada. Até agora, os sinais desta dinâmica de equipa foram amplamente ignorados para o propósito de detetar mentiras.

Num novo estudo, investigadores de Portugal desenvolveram um método chamado InnerExpert que finalmente coloca estes sinais de equipa interna a trabalhar. Em vez de pedir ao modelo que se repita ou esperar até ao fim de uma frase para verificar erros, o InnerExpert observa o processo de roteamento interno do modelo em tempo real. À medida que o modelo gera uma resposta, um pequeno roteador decide qual a rede de "especialistas" deve lidar com a palavra atual. Os investigadores descobriram que, quando o modelo está prestes a alucinar, este roteador mostra sinais de confusão. Os especialistas podem discordar uns dos outros, ou o roteador pode ter dificuldade em decidir qual o especialista mais adequado para a tarefa. Ao rastrear estes momentos de hesitação e desacordo, juntamente com sinais padrão sobre como o modelo está a focar a sua atenção, o InnerExpert consegue atribuir uma pontuação de confiança a cada palavra individual à medida que ela é criada.

A equipa treinou o seu sistema utilizando uma abordagem inteligente e automatizada. Alimentaram o modelo com milhares de perguntas e utilizaram uma inteligência artificial separada, altamente capaz, para atuar como juiz, rotulando quais as respostas que eram verdadeiras e quais eram inventadas. Isto permitiu-lhes ensinar ao InnerExpert a reconhecer os padrões específicos de sinais internos que precedem uma alucinação, sem necessidade de qualquer humano para ler e corrigir manualmente os dados. Uma vez treinado, o sistema atua como um detetor leve que corre paralelamente ao modelo principal, exigindo apenas uma única passagem de dados para produzir um resultado. Não precisa de atrasar o modelo nem de o obrigar a gerar texto extra.

Quando testado em cinco conjuntos de dados diferentes e dois tipos diferentes de modelos de grande escala, o InnerExpert provou ser notavelmente eficaz. Identificou com sucesso respostas alucinadas com uma pontuação de precisão de até 0,91 ao nível da frase e 0,76 ao nível da palavra individual. Estes números representam uma melhoria significativa em relação aos métodos existentes, que muitas vezes têm dificuldade em apontar exatamente onde começa uma mentira. O sistema foi capaz de se generalizar bem, apresentando um desempenho sólido mesmo em questões sobre eventos que ocorreram após o treino original do modelo, um cenário comum onde as alucinações são mais frequentes. Crucialmente, alcançou este alto nível de deteção acrescentando apenas um custo computacional ínfimo, tornando-o prático para uso no mundo real.

O estudo também revelou que nenhum sinal único proveniente da equipa interna do modelo era suficiente para detetar todas as mentiras por si só. Alguns sinais eram melhores a detetar erros num tipo de modelo, enquanto outros funcionavam melhor num tipo diferente. O verdadeiro poder do InnerExpert veio da combinação de todos estes diferentes sinais — confusão do roteador, desacordo entre especialistas e padrões de utilização — num único índice unificado. Esta combinação permitiu ao sistema ver uma imagem mais clara da confiança do modelo do que qualquer métrica individual poderia fornecer. Os investigadores demonstraram que, ao ouvir a conversa interna dos especialistas do modelo, podiam detetar a incerteza com uma precisão que era anteriormente impossível sem abrandar o sistema.

Este trabalho sugere que o caminho para uma inteligência artificial mais fiável pode não exigir a construção de modelos maiores ou sistemas de verificação mais complexos. Em vez disso, poderá residir em prestar mais atenção aos sinais que os modelos já estão a produzir, mas que são ignorados. Ao aprender a ler os sinais subtis de hesitação na tomada de decisões interna de um modelo, podemos construir sistemas que saibam quando estão a adivinhar e quando estão certos. Os investigadores observam que, embora o seu método seja altamente eficaz, não é uma solução perfeita, e o trabalho futuro terá de explorar quão bem estas técnicas se traduzem para diferentes línguas e tarefas mais diversas. Por agora, porém, o estudo fornece uma forma clara e eficiente de detetar alucinações no momento em que ocorrem, oferecendo uma ferramenta prática para tornar os resultados da inteligência artificial mais dignos de confiança.

Resumo Técnico: InnerExpert – Blocos de Mistura de Especialistas Contêm Sinais Fortes de Detecção de Alucinação

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) frequentemente geram conteúdo plausível, mas factualmente incorreto, um fenômeno conhecido como alucinação. Embora a detecção dessas alucinações seja crítica para a confiabilidade, detectá-las continua sendo um desafio. Os métodos de detecção existentes geralmente se dividem em três categorias:

Baseados em amostragem: Métodos como SelfCheckGPT e Semantic Uncertainty sondam a consistência através de múltiplas gerações estocásticas. Embora eficazes, são computacionalmente caros no tempo de inferência devido à necessidade de múltiplas passagens de forward.
Sinal interno: Métodos como LLM-Check e MIND operam sobre estados ocultos e padrões de atenção dentro de uma única passagem de forward. No entanto, eles tipicamente utilizam um subconjunto limitado de sinais disponíveis em arquiteturas densas e ignoram as estruturas de roteamento únicas de modelos de Mistura de Especialistas (MoE).
Detectores treináveis: Abordagens como HaluNet e FacLens aprendem classificadores sobre sinais de transformers densos, mas frequentemente operam ao nível da resposta ou da sentença, em vez do nível do token, limitando a capacidade de localizar trechos específicos alucinados.

Além disso, a maioria dos métodos atuais carece de granularidade por token, o que é essencial para a localização refinada de trechos alucinados e para permitir intervenções direcionadas. Existe uma lacuna específica no aproveitamento dos sinais internos únicos de arquiteturas MoE para este propósito.

Metodologia: InnerExpert

O artigo apresenta o InnerExpert, um detector de alucinação por token em uma única passagem, projetado especificamente para arquiteturas MoE. Ele opera interceptando a passagem de forward do modelo para extrair e combinar sinais internos em um vetor de características compacto, que é então classificado por um detector leve.

1. Extração de Sinais

O InnerExpert distingue entre sinais padrão (disponíveis em qualquer transformer) e sinais específicos de MoE (derivados do mecanismo de roteamento).

Sinais Padrão:
- Pontuação do Estado Oculto (Hidden State Score): Captura a redundância representacional computando a média do log do valor singular da matriz de covariância centrada dos estados ocultos até o token atual.
- Pontuação de Atenção (Attention Score): Captura padrões de foco via a soma log-cumulativa das entradas diagonais do kernel de atenção.
Sinais Específicos de MoE: Estes sinais não estão disponíveis em arquiteturas densas e são centrais para a contribuição deste artigo. Eles incluem:
- Entropia do Roteador (Router Entropy): A entropia da distribuição de gating, indicando incerteza na seleção de especialistas.
- Pontuação de Estado Oculto do Especialista (Expert Hidden Score): Uma agregação ponderada pelo roteamento dos scores de estado oculto computados independentemente para cada especialista ativado.
- Similaridade de Especialistas (Expert Similarity): Uma média ponderada pelo roteamento das similaridades de cosseno par a par entre as saídas dos especialistas ativados; baixa similaridade indica desacordo (análogo ao desacordo de ensemble).
- Distribuição de Uso de Especialistas (Expert Usage Distribution): Uma distribuição cumulativa de seleções de especialistas ponderada pelas probabilidades de roteamento.
- Impureza de Gini e Índice de Herfindahl Inverso: Métricas derivadas da distribuição de uso para medir a dispersão e o número efetivo de especialistas contribuintes.

2. Montagem de Características e Classificação

Para cada token gerado, os sinais por camada são achatados em um único vetor de características $\Phi_t$ . Este vetor é alimentado em um classificador leve (ex: Regressão Logística, XGBoost, MLP) treinado para produzir um score de alucinação $s(y_t) \in [0, 1]$ . O score ao nível da resposta é obtido agregando os scores dos tokens (usando o operador max).

3. Supervisão de Treinamento

Para evitar a anotação manual, os autores empregam uma abordagem de treinamento não supervisionada usando um pipeline de "LLM-como-juiz":

Fonte de Dados: Perguntas da plataforma RealtimeQA (Jan 2024–Dez 2025).
Geração: O modelo hospedeiro gera respostas tanto com quanto sem evidência de referência (simulando RAG).
Rotulagem: Um LLM juiz (GLM-5.1) compara a resposta gerada contra a evidência de referência para produzir rótulos binários de alucinação e identificar os trechos alucinados. Esses trechos são mapeados para rótulos binários por token.
Validação: A qualidade desses rótulos é validada contra anotações humanas, mostrando uma concordância significativamente maior do que heurísticas lexicais/semânticas fracas.

Principais Contribuições

Framework InnerExpert: O primeiro método a aproveitar sinais internos específicos de MoE (entropia do roteador, desacordo de especialistas, padrões de uso) para detecção de alucinação por token sem modificar o LLM hospedeiro ou exigir amostragem adicional.
Pipeline de Treinamento Não Supervisionado: Uma abordagem formalizada para treinar detectores por token usando rotulagem de "LLM-como-juiz" contra evidências de referência, eliminando a necessidade de anotação manual.
Inventário e Análise de Sinais: A formalização de seis sinais específicos de MoE junto com sinais padrão de transformer, permitindo um estudo sistemático de quais sinais de roteamento carregam informações discriminativas para alucinações.
Desempenho de Estado da Arte: Demonstração de que a combinação desses sinais produz um desempenho superior aos baselines em múltiplos datasets e arquiteturas.

Resultados Experimentais

Os autores avaliaram o InnerExpert em dois modelos MoE de pesos abertos (OLMoE-1B-7B e Gemma-4-26B) em cinco datasets (RealtimeQA, SQuAD, TruthfulQA, NQ-Open, FreshQA).

Desempenho: O InnerExpert alcançou até 0,91 de AUROC ao nível da resposta e 0,76 ao nível do token em média nos cinco datasets. Especificamente, a variante de melhor desempenho (IE XGB) alcançou um AUROC médio de nível de resposta de 0,912 no Gemma-4-26B, enquanto a melhor variante para o OLMoE-1B-7B (IE LR) alcançou um AUROC médio de nível de token de 0,762. Ele superou consistentemente os baselines que abrangem os paradigmas de amostragem, sinal interno e treinável.
Contribuição de Sinais: Nenhum sinal único de MoE foi uniformemente forte em ambas as arquiteturas. No entanto, combiná-los via classificador resultou em ganhos consistentes, indicando que os sinais fornecem informações complementares. Por exemplo, no OLMoE, a combinação melhorou o AUROC em 0,197 em relação ao melhor sinal individual de MoE.
Eficiência: O InnerExpert requer apenas uma única passagem de forward. Embora a extração de sinais completos de MoE aumente o custo de inferência para aproximadamente $2,5\times$ a geração vanilla, o overhead total (incluindo a inferência do classificador) permanece em torno de $3\times$ a vanilla. Isso é significativamente mais eficiente do que os métodos baseados em amostragem, que exigem múltiplas passagens de forward (ex: $K=5$ ) e frequentemente dobram o uso de memória da GPU.
Generalização: O método manteve vantagens consistentes sobre os baselines em dados temporalmente fora da distribuição (eventos pós-treinamento) e tarefas de generalização entre datasets.

Significância e Alegações

O artigo afirma que o InnerExpert aborda a lacuna crítica na detecção de alucinações ao explorar a estrutura interna única dos modelos MoE. Ao utilizar sinais relacionados à incerteza epistêmica (especificamente o desacordo de especialistas e a incerteza de roteamento), o método alcança a detecção por token com alta eficiência.

Os autores enfatizam que:

Sinais específicos de MoE são um recurso rico e anteriormente inexplorado para detectar alucinações na geração de texto.
Uma simples combinação desses sinais com sinais padrão de transformer via um classificador leve é suficiente para atingir resultados de estado da arte, sem a necessidade de arquiteturas complexas como o HaluNet.
O pipeline de rotulagem não supervisionada permite atualizações contínuas do modelo sem esforço manual, tornando a abordagem escalável.

O trabalho é modesto em seu escopo, observando limitações como a pequena escala da validação humana, restrição ao inglês e a dependência de classificadores leves. Os autores destacam especificamente que MLP e Regressão Logística (LR) são os desempenhos mais consistentes entre os modelos, enquanto o XGBoost sofre de uma degradação acentuada de F1 em certos modelos (ex: Gemma), indicando sensibilidade ao limiar em vez de falta de poder discriminativo. Os autores sugerem que trabalhos futuros poderiam focar em certificação de domínio, geração de texto controlada e expansão para cenários multilíngues.