📊 statistics

MMD-Flagger: Leveraging Maximum Mean Discrepancy to Detect Hallucinations

O artigo apresenta o MMD-Flagger, um método de detecção de alucinação em tempo de teste para Grandes Modelos de Linguagem que utiliza a Discrepância de Média Máxima para analisar a estabilidade das saídas através de variações nas temperaturas de decodificação, permitindo a identificação confiável de erros fatuais sem rótulos de verdade fundamental.

Autores originais: Kensuke Mitsuzawa, Damien Garreau

Publicado 2026-08-20

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Kensuke Mitsuzawa, Damien Garreau

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo em rápida evolução da inteligência artificial, os grandes modelos de linguagem tornaram-se ferramentas poderosas capazes de gerar texto semelhante ao humano, responder a perguntas complexas e até auxiliar na tomada de decisões autônomas. No entanto, esses sistemas possuem uma falha persistente: às vezes produzem afirmações que soam fluentes e confiantes, mas que são inteiramente incorretas do ponto de ponto de vista factual. Este fenômeno, conhecido como alucinação, representa um risco significativo de segurança, especialmente quando esses modelos são implantados em áreas críticas como o direito, a medicina ou a condução autónoma, onde um único passo falso poderia levar a resultados desastrosos. O desafio central para os investigadores é como detetar estes erros em tempo real sem acesso a uma chave de resposta "padrão ouro". Uma vez que estes modelos operam sem verificação externa durante o uso em tempo real, os cientistas devem encontrar uma forma de julgar a fiabilidade de uma resposta baseando-se apenas no próprio comportamento do modelo. A chave reside em compreender como o modelo reage a pequenas alterações nas suas configurações internas; se um modelo for verdadeiramente confiante e fundamentado em factos, as suas respostas devem permanecer consistentes mesmo quando as condições da sua geração mudam ligeiramente. Se, contudo, a resposta for uma fabricação, o output do modelo tende a tornar-se instável e errático sob essas mesmas mudanças.

Baseando-se neste princípio, uma equipa de investigadores da França e da Alemanha desenvolveu um novo método chamado MMD-Flagger para capturar estas alucinações. A sua abordagem não depende da verificação de factos contra uma base de dados ou do treino de um novo modelo para detetar erros. Em vez disso, atua como um monitor de estabilidade que observa como o output de um modelo de linguagem muda quando a temperatura do seu processo de geração é ajustada. No contexto destes modelos, a "temperatura" é uma configuração que controla quanta aleatoriedade é introduzida quando o modelo escolhe a sua próxima palavra. Uma temperatura baixa torna o modelo muito previsível e repetitivo, enquanto uma temperatura alta permite respostas mais criativas e variadas. Os investigadores hipotetizaram que uma resposta verdadeira permaneceria relativamente estável através destas diferentes configurações, enquanto uma resposta alucinada oscilaria e mudaria de forma dramaticamente à medida que a temperatura mudasse.

Para testar esta ideia, os investigadores criaram um sistema que gera múltiplas versões de uma resposta para a mesma pergunta, utilizando a cada vez uma configuração de temperatura diferente. Eles compararam então a resposta original com estas versões variadas utilizando uma ferramenta estatística chamada Máxima Discrepância de Média (Maximum Mean Discrepancy). Esta ferramenta mede o quão diferentes dois grupos de dados são um do outro. Ao traçar estas diferenças através de uma gama de temperaturas, o sistema cria um caminho visual, ou trajetória. Os investigadores descobriram que, quando o modelo está a dizer a verdade, este caminho é suave e previsível, muitas vezes subindo de forma constante à medida que a aleatoriedade aumenta. No entanto, quando o modelo está a alucinar, o caminho assume uma forma de "U" distinta e acentuada. Este declive no meio da curva serve como um sinal claro de que o modelo está a ter dificuldades em manter um significado consistente, sinalizando efetivamente a resposta como não confiável.

A equipa avaliou este método utilizando modelos de linguagem modernos, incluindo as famílias Llama-3 e Gemma-3, num conjunto de dados de referência concebido para testar a precisão factual em várias línguas. Eles compararam o seu novo método com várias técnicas existentes que dependem de similaridade de texto ou estados internos do modelo. Os resultados mostraram que a eficácia da deteção de alucinações é altamente dependente da arquitetura específica do modelo; enquanto o MMD-Flagger (Ensemble) alcançou o melhor desempenho no Llama-3.1-8B e Gemma-3-4B, outros estimadores performaram melhor no Llama-3.2-3B. O sistema provou ser flexível o suficiente para trabalhar com vários tipos de dados extraídos do modelo, tais como o significado bruto das palavras ou as camadas ocultas da rede neural. Num caso de teste específico envolvendo uma pergunta sobre um gato num programa de TV, o sistema identificou com sucesso uma resposta alucinada que outros métodos perderam, capturando o momento em que o output do modelo começou a derivar para o nonsense à medida que a temperatura mudava. Por outro lado, num caso de estudo diferente relativo a um grupo musical de Glasgow, a análise revelou um cenário onde o MMD-Flagger falhou em detetar uma alucinação que outro método (KLE) identificou corretamente, destacando que a trajetória do output do modelo pode, por vezes, permanecer de forma enganosamente suave mesmo quando o conteúdo é incorreto.

Apesar destes resultados promissores, os investigadores reconhecem que o método possui limitações. Como requer a geração de muitas variações de uma resposta para construir um perfil de estabilidade fiável, pode ser computacionalmente dispendioso e mais lento do que simplesmente pedir ao modelo uma única resposta. Isto torna-o menos ideal para aplicações que exigem respostas instantâneas, embora continue a ser uma ferramenta poderosa para sistemas de segurança crítica onde a precisão é primordial. O estudo sugere que, ao monitorizar a estabilidade do output de um modelo através de diferentes condições, podemos construir uma camada de supervisão mais confiável para a inteligência artificial. Esta abordagem oferece uma forma de auditar a fiabilidade de agentes autónomos sem precisar de saber a resposta correta antecipadamente, proporcionando um passo crucial para sistemas de IA mais seguros e dependentes.

Resumo Técnico: MMD-Flagger

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) estão sendo cada vez mais implantados em sistemas agentes de missão crítica, mas sua propensão a gerar alucinações — conteúdo fluente, porém factualmente incorreto — permanece um barreira significativa para a confiança. Em agentes autônomos, um único passo alucinado em um processo de decisão sequencial pode levar a falhas catastróficas. Um desafio crítico para mitigar esse risco é detectar esses erros fatuais em tempo de teste sem acesso a rótulos de verdade fundamental (ground-truth) ou bases de conhecimento externas. Embora os métodos existentes de quantificação de incerteza (UQ) baseados em consistência comparem múltiplas sequências de saída, eles são frequentemente limitados a similaridades semânticas ao nível de token e ignoram representações internas do modelo. Por outroverso, métodos que utilizam estados internos frequentemente requerem treinamento supervisionado ou dependem de arquiteturas de modelos específicas, limitando sua generalização e flexibilidade de implantação.

Metodologia

Os autores propõem o MMD-Flagger, uma estrutura não supervisionada e livre de treinamento para detecção de alucinação que utiliza a Discrepância de Média Máxima (MMD - Maximum Mean Discrepancy) para monitorar a estabilidade das saídas do LLM através de variadas temperaturas de decodificação.

Hipótese Central

O método opera sob a premissa de que gerações fiéis de LLM exibem consistência semântica através de diferentes caminhos de decodificação, enquanto gerações alucinadas são altamente sensíveis a configurações de decodificação, resultando em significados semânticos instáveis e inconsistentes. Especificamente, os autores hipotetizam que a alta incerteza (alucinação) se manifesta como uma trajetória de MMD em forma de U, caracterizada por um mergulho agudo e não monotônico, enquanto saídas fiéis exibem um crescimento estável e monotônico nos valores de MMD.

Estrutura Algorítmica

Amostragem Estocástica: Para um determinado prompt $x$ e uma geração de hipótese alvo $h_{hyp}$ (produzida sob uma estratégia de decodificação específica $\theta_{hyp}$ ), o método gera um conjunto de amostras estocásticas $S_{sto}^{\tau}$ através de um intervalo de temperaturas de decodificação $\tau \in \mathcal{T}$ .
Representação de Características: O método é agnóstico ao espaço de características, sendo capaz de utilizar diversas representações, como embeddings de palavras, estados ocultos (último token ou média), mapas de atenção ou características espectrais (autovalores de Laplacianos).
Construção da Trajetória MMD: A distância MMD ao quadrado é computada entre o conjunto de hipótese $S_{hyp}$ e os conjuntos de amostras estocásticas $S_{sto}^{\tau}$ para cada temperatura. Isso cria uma trajetória $D(\theta_{hyp})$ representando a distância de distribuição como uma função da temperatura.
Pontuação de Incerteza: A pontuação de incerteza $\delta$ é derivada da não-monotonicidade desta trajetória. O algoritmo identifica o valor mínimo de MMD e calcula a diferença absoluta entre este mínimo e os máximos locais nas temperaturas precedente e sucessora mais próximas ( $\delta_{prev}$ e $\delta_{post}$ ). A pontuação final é a soma: $\delta = \delta_{prev} + \delta_{post}$ . Um formato de U mais profundo e agudo gera uma pontuação de incerteza mais alta.
Estratégia de Ensemble: Para explorar informações complementares através de múltiplos domínios de características, uma versão de ensemble agrega pontuações de domínios ativos (filtrados por variância de trajetória) usando uma combinação ponderada do Coeficiente de Variação (CV) e heurísticas baseadas em entropia.

Contribuições Principais

Detecção Não Supervisionada e Livre de Treinamento: O MMD-Flagger introduz uma estrutura que não requer treinamento supervisionado ou rótulos de verdade fundamental, tornando-o adequado para cenários de implantação ao vivo.
Agnosticismo de Características Flexível: Ao contrário de métodos restritos a embeddings de texto ou camadas internas específicas, o MMD-Flagger pode auditar a estabilidade através de diversos espaços de características, incluindo estados ocultos internos e mecanismos de atenção.
Indicador Baseado em Trajetória: O artigo identifica a trajetória característica "em forma de U" no MMD como uma assinatura específica de alucinação, distinguindo-a do comportamento monotônico de gerações fiéis.
Benchmarking Abrangente: O método é avaliado no benchmark multilíngue MUCH (Multilingual Claim Hallucination) utilizando famílias de modelos modernos (Llama-3.1, Llama-3.2 e Gemma-3).

Resultados Empíricos

A avaliação no conjunto de dados MUCH revela o seguinte:

Dependência de Modelo: O estimador de detecção de alucinação ideal é altamente dependente da arquitetura específica do LLM.
Desempenho: O MMD-Flagger (Ensemble) alcançou as melhores pontuações de ROC-AUC no Llama-3.1-8B e Gemma-3-4B. No Llama-3.2-3B, uma única configuração de característica superou o ensemble, sugerindo que diferentes arquiteturas podem se beneficiar de estratégias distintas de seleção de características ou de ensemble.
Comparação: O método geralmente superou ou manteve-se competitivo com baselines de caixa-preta (KLE, LexSim, Ecc) e baselines de caixa-branca (EigenScore, LapEigvals) através de vários tipos de características.
Limitações: Em uma avaliação secundária no dataset TriviaQA, o MMD-Flagger teve um desempenho inferior ao Kernel Language Entropy (KLE), indicando que a eficácia do método pode variar dependendo das características do dataset e da natureza das alucinações (ex: divergência monotônica vs. dinâmica de ponto de sela).

Significância e Alegações

Os autores afirmam que o MMD-Flagger fornece um mecanismo robusto e flexível para auditar saídas de agentes em tempo de teste sem depender de referências externas. Ao utilizar a Discrepância de Média Máxima para rastrear a estabilidade de representações internas e externas através de temperaturas de decodificação, o método oferece uma abordagem não paramétrica para quantificação de incerteza. O artigo posiciona este trabalho como um passo em direção à construção de agentes autônomos confiáveis, permitindo a detecção de alucinações através da própria instabilidade intrínseca do processo de geração. Os autores reconhecem que, embora promissor, o método requer múltiplas gerações estocásticas por prompt, o que apresenta um custo computacional para aplicações em tempo real, e trabalhos futuros focarão na redução deste custo de amostragem.