💻 computer science

A framework for hallucinations explainability in text summarization

Este artigo propõe um novo framework que introduz uma Pontuação de Severidade de Alucinação (HSS) baseada em instabilidade semântica e análise de atribuição SHAP dentro de um pipeline SMILE aprimorado para detectar, quantificar e explicar eficazmente alucinações em sumarização de textos baseada em LLM.

Autores originais: Omnia Abd Al-Azeem Hussieny, Samah El-Tantawy, Doaa Shawky, Ehab Y. Abdel Maksoud

Publicado 2026-08-21

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Omnia Abd Al-Azeem Hussieny, Samah El-Tantawy, Doaa Shawky, Ehab Y. Abdel Maksoud

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No cenário moderno da inteligência artificial, os grandes modelos de linguagem tornaram-se motores poderosos para escrever, responder perguntas e resumir informações complexas. Esses sistemas são treinados em vastas quantidades de texto, aprendendo a prever a próxima palavra em uma frase com uma fluência notável. No entanto, essa fluência vem acompanhada de uma falha oculta: os modelos às vezes inventam fatos. No campo do processamento de linguagem natural, esse fenômeno é conhecido como alucinação. Ocorre quando um sistema gera um texto que soa confiante e gramaticalmente correto, mas que é completamente inventado ou contradiz diretamente o material de origem que deveria ter resumido. Embora esses erros possam parecer menores em um chat casual, eles se tornam perigosos em ambientes de alto risco, como saúde, análise jurídica ou pesquisa científica, onde a precisência é inegociável. O desafio central para os pesquisadores não tem sido apenas detectar essas mentiras, mas medir o quão severas elas são e entender por que acontecem, indo além de simples verificações de sobreposição de palavras para uma investigação mais profunda da lógica interna do modelo.

Uma equipe de pesquisadores desenvolveu um novo método para enfrentar esse problema, criando uma estrutura que atua como um teste de estresse para resumos de IA. Em vez de simplesmente perguntar se um resumo é factualmente correto, eles fizeram uma pergunta diferente: quão estável é o resumo quando a entrada é levemente alterada? A abordagem deles baseia-se na ideia de que um sumarizador confiável deve produzir um resultado consistente mesmo se o texto de origem for alterado de maneiras pequenas e significativas. Se o resumo mudar drasticamente ou começar a inventar novos detalhes após uma edição menor, isso sugere que o modelo é instável e propenso a alucinar. Os pesquisadores construíram um sistema que recebe um documento, faz mudanças sutis e controladas nas palavras sem alterar o significado central, e então observa como a saída da IA reage. Ao medir a distância entre o resumo original e os novos, eles podem calcular uma pontuação específica que indica a gravidade do risco de alucinação.

Para conduzir este experimento, a equipe trabalhou com uma coleção de trinta e quatro documentos abrangendo diversos tópicos, incluindo artigos de notícias, artigos científicos, textos jurídicos e avaliações de produtos. Eles utilizaram um modelo de sumarização sofisticado para gerar um resumo de base para cada documento. Em seguida, introduziram uma série de perturbações, que são modificações pequenas e deliberadas no texto de origem. Essas mudanças foram cuidadosamente projetadas para substituir palavras por seus sinônimos mais próximos, garantindo que nomes de pessoas, lugares e números específicos permanecessem intocados para preservar os fatos. Para cada documento, criaram múltiplas versões do texto, cada uma ligeiramente diferente da original, e pediram à IA para resumir cada uma delas. Os pesquisadores então compararam os resumos resultantes para ver o quanto eles se afastavam do original. Eles descobriram que, quando a IA era forçada a resumir um texto levemente alterado, os resumos de modelos propensos à alucinação mudavam drasticamente, enquanto modelos confiáveis permaneciam constantes.

Os pesquisadores quantificaram esse desvio usando um conceito matemático que mede a diferença entre dois grupos de dados, essencialmente calculando o quão longe o significado dos resumos se moveu. Eles descobriram que essa medida de instabilidade não era apenas uma flutuação aleatória; estava intimamente ligada ao quanto a IA estava mentindo. Para tornar essa medida útil em diferentes tipos de documentos, eles normalizaram as pontuações, criando uma pontuação de severidade final que poderia ser comparada de forma justa, fosse o texto sobre medicina ou filmes. A descoberta mais impressionante surgiu quando observaram como a IA explicava suas próprias escolhas. Eles utilizaram uma técnica que destaca quais palavras na entrada foram mais importantes para gerar a saída. Descobriram que, quando um resumo estava alucinando, a importância das palavras de entrada saltava de forma imprevisível. Em outras palavras, o raciocínio interno do modelo tornava-se instável exatamente no momento em que começava a mentir.

O estudo revelou uma forte conexão entre essa instabilidade no raciocínio do modelo e a severidade das alucinações. Quando os pesquisadores compararam sua nova pontuação de severidade com outras formas comuns de verificar erros, descobriram que a instabilidade das explicações internas do modelo era o preditor mais confiável de uma alucinação. Métios tradicionais que simplesmente verificam se as palavras coincidem ou se as frases soam lógicas eram menos eficazes em capturar esses erros profundos. A equipe também testou seu método através de diferentes níveis de dificuldade. Eles descobriram que, à medida que tornavam as mudanças no texto mais significativas, a pontuação de severidade aumentava, provando que seu sistema era sensível o suficiente para detectar até mesmo mudanças sutis de confiabilidade. Além disso, a pontuação variava naturalmente entre diferentes domínios; campos complexos como o direito e a ciência mostraram pontuações de instabilidade mais altas do que tópicos mais simples como postagens de redes sociais, refletindo a maior dificuldade e o maior risco de erro nessas áreas.

Este trabalho fornece uma nova lente para visualizar a confiabilidade da inteligência artificial. Ao focar em como um modelo reage a pequenas mudanças, em vez de apenas na saída final, os pesquisadores identificaram um sinal claro de quando uma IA está perdendo o controle sobre a verdade. O estudo sugere que a melhor maneira de detectar uma alucinação não é procurar pela mentira em si, mas observar os tremores no raciocínio do modelo que a precedem. Embora os pesquisadores tenham testado isso em um conjunto específico de documentos e em um único tipo de modelo de IA, a estrutura oferece um caminho robusto para construir sistemas que possam ser auditados e confiados. O trabalho desloca a conversa de simplesmente perguntar "isso é verdade?" para "o quanto podemos ter certeza de que isso é verdade?", fornecendo uma maneira quantitativa de medir a confiança que devemos depositar no texto gerado por máquina. À medida que esses sistemas se tornam mais integrados às nossas vidas diárias, ferramentas que possam distinguir entre um resumo estável e factual e um inventado e frágil serão essenciais para manter a integridade da informação em que confiamos.

Resumo Técnico: Um Framework para Explicabilidade de Alucinações em Sumarização de Texto

1. Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) usados para sumarização de texto abstrativa frequentemente sofrem de "alucinações", onde os outputs gerados são linguisticamente fluentes, mas factualmente incorretos, não suportados ou contraditórios ao texto de origem. Esses erros são particularmente críticos em domínios de alto risco, como saúde, jornalismo e pesquisa científica.

As abordagens de avaliação atuais enfrentam duas limitações primárias:

Quantificação de Severidade Insuficiente: Métricas de factualidade existentes (ex: FactCC, SummaC) fornecem julgamentos ao nível da sentença ou pontuações de consistência binária, mas carecem de uma medida escalar robusta para quantificar a severidade das alucinações sob perturbações semânticas.
Explicabilidade Descritiva vs. Quantitativa: Embora frameworks de explicabilidade como o SMILE (Interpretabilidade Estatística Independente de Modelo com Explicações Locais), LIME e SHAP ofereçam insights sobre a importância dos tokens e a sensibilidade do modelo, eles permanecem primariamente descritivos. Eles explicam por que um modelo se comporta de determinada maneira, mas não fornecem diretamente uma pontuação quantitativa para a severidade da alucinação.

A hipótese central deste trabalho é que modelos de sumarização fiéis permanecem estáveis sob perturbações que preservam o significado, enquanto modelos propensos a alucinações exibem instabilidade significativa no output.

2. Metodologia: O Framework SMILE Aprimorado

Os autores propõem um novo Score de Severidade de Alucinação (HSS) integrado a um pipeline SMILE aprimorado. O framework transforma o SMILE de uma ferramenta de interpretabilidade qualitativa em um framework de diagnóstico quantitativo através das seguintes etapas:

2.1 Geração de Perturbação Semântica

O sistema gera perturbações controladas e de preservação de significado do documento de entrada ( $x$ ) para criar um conjunto de entradas perturbadas $\{x^{(k)}\}$ .

Seleção de Tokens: Entidades nomeadas (via NER), stop words, números e pontuação são excluídos para preservar a consistência factual. Apenas tokens semanticamente relevantes são candidatos para modificação.
Geração de Candidatos: Embeddings Word2Vec identificam os $k$ -vizinhos mais próximos para os tokens elegíveis. Um limiar de similaridade de cosseno ( $\tau$ ) garante a proximidade semântica.
Filtro de Preservação de Significado: Uma restrição de similaridade Sentence-BERT (SBERT) ( $\gamma$ ) valida que a sentença perturbada retém o significado semântico original. Se $sim_{SBERT}(s, s') < \gamma$ , a perturbação é rejeitada.
Força: As perturbações modificam 2–30% dos tokens, categorizados como baixa, moderada ou alta força.

2.2 Geração e Representação de Sumarização

Modelo: Um modelo transformer BART-large-CNN gera um resumo base ( $y_0$ ) e resumos para cada entrada perturbada ( $y_k$ ).
Distribuição de Embedding: Cada resumo é decomposto em sentenças, e embeddings contextuais são gerados usando SBERT. Estes formam uma distribuição empírica ( $\mu_y$ ) que representa a estrutura semântica do resumo.

2.3 Medição de Instabilidade via Distância de Wasserstein

O framework quantifica o deslocamento semântico entre o resumo base e os resumos perturbados usando a distância de Wasserstein ( $W$ ), que mede o custo de transporte geométrico entre distribuições de embedding.
$D_k = W(\mu_{y_0}, \mu_{y_k})$
A instabilidade bruta é a média dessas distâncias através de $K$ perturbações.

2.4 Score de Severidade de Alucinação (HSS) e Normalização

Para permitir a comparação entre domínios, as distâncias de Wasserstein brutas são normalizadas.

Normalização Consciente de Categoria: Uma constante de normalização ( $M_c$ ) é computada como o percentil 95 das distâncias de Wasserstein para uma categoria específica de documento ( $c$ ).
Score Final: O HSS é a média das distâncias normalizadas:
$HSS(x) = \frac{1}{K} \sum_{k=1}^{K} \min\left(\frac{D_k}{M_c}, 1\right)$
Valores de HSS mais altos indicam maior instabilidade semântica e, consequentemente, maior severidade de alucinação.

2.5 Análise de Instabilidade de Atribuição

O framework correlaciona o HSS com métricas de instabilidade de atribuição, especificamente SHAP (Explicações Aditivas de Shapley) e LIME. Ele mede o quanto as distribuições de atribuição de características mudam quando a entrada é perturbada.

3. Configuração Experimental

Dataset: 34 documentos através de quatro domínios (Simples, Médio, Complexo, Misto/Extra) cobrindo filmes, literatura, IA e pesquisa médica.
Escala: 286 perturbações totais geradas, resultando em 320 resumos avaliados.
Validação: A análise estatística incluiu correlações de Pearson e Spearman, 1.000 reamostragens de bootstrap para intervalos de confiança e estudos de ablação.
Comparadores: O HSS foi comparado contra FactCC, SummaC, Precisão/Recall/F1, scores de Atenção, LIME e SHAP.

4. Resultados Principais

A avaliação experimental rendeu os seguintes achados:

Forte Alinhamento com SHAP: O HSS exibiu a correlação mais forte com a instabilidade de atribuição baseada em SHAP ( $r \approx 0.90$ ). Isso indica que resumos propensos a alucinações produzem padrões de atribuição de características altamente instáveis sob perturbações semânticas.
Correlação Negativa com Factualidade: O HSS mostrou correlações negativas de moderadas a fortes com métricas de consistência factual (FactCC: $r \approx -0.63$ ; SummaC: $r \approx -0.55$ ), confirmando que maiores scores de severidade correspondem a menor confiabilidade factual.
Fraca Correlação com Métricas Lexicais/Distribuicionais: O HSS teve correlações fracas com a distância de Wasserstein bruta ( $r \approx -0.33$ ) e LIME ( $r \approx 0.29$ ). Isso sugere que sobreposição lexical superficial ou simples deslocamentos distribuicionais são insuficientes como proxies para alucinação semântica.
Sensibilidade de Domínio: O HSS diferenciou efetivamente os domínios. Domínios intensivos em conhecimento (ex: Artigos Científicos, Documentos Jurídicos) mostraram valores de HSS mais altos (maior instabilidade) em comparação com domínios menos estruturados (ex: Redes Sociais, Avaliações de Produtos).
Sensibilidade à Perturbação: Os valores de HSS aumentaram consistentemente com a força da perturbação (de 0.38 em baixa força para 0.62 em alta força), validando sua sensibilidade como uma escala quantitativa.

5. Contribuições e Significância

O artigo reivindica as seguintes contribuições e significância:

Métrica Inovadora (HSS): Introdução de um Score de Severidade de Alucinação estatisticamente fundamentado que quantifica a severidade da alucinação através da instabilidade semântica baseada em Wasserstein, indo além de verificações de factualidade binárias.
Framework SMILE Aprimorado: Extensão do framework SMILE para integrar distribuições de embeddings contextuais, instabilidade de atribuição e robustez baseada em perturbação em um pipeline estatístico unificado.
Instabilidade de Atribuição como Proxy: Estabelecimento da instabilidade de atribuição baseada em SHAP como um indicador confiável de comportamento de alucinação semântica, demonstrando que ela supera métricas lexicais de superfície e o LIME na detecção de alucinações.
Validação Robusta: Confirmação da robustez do framework através de extensa validação estatística (análise de correlação, intervalos de confiança de bootstrap) e estudos de ablação, que provaram que componentes como normalização, proteção de NER e filtragem semântica são essenciais para uma estimativa confiável.

Os autores concluem que a alucinação está fundamentalmente associada à instabilidade semântica e não pode ser totalmente caracterizada por métricas lexicais de superfície apenas. O framework proposto oferece um caminho para auditoria de modelos, monitoramento de drift e garantia de qualidade baseada em limiares em sistemas de sumarização baseados em LLM.

6. Limitações

Os autores reconhecem modestamente algumas limitações:

Tamanho do Dataset: A avaliação foi conduzida em um dataset relativamente pequeno (34 documentos), o que pode limitar a generalização.
Especificidade do Modelo: Os experimentos foram limitados a um único modelo de sumarização (BART-large-CNN); uma validação mais ampla através de diferentes arquiteturas de LLM é necessária.
Restrições de Perturbação: A estratégia de perturbação restrita pode não capturar toda a diversidade das variações linguísticas do mundo real.
Falta de Avaliação Humana: O estudo depende de métricas automatizadas; trabalhos futuros exigem avaliação humana para alinhar as estimativas de severidade automatizadas com o julgamento humano.