Resumo Técnico: Análise Empírica e Detecção de Alucinações em Sumários de Relatórios de Bugs Gerados por LLM

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) são cada vez mais utilizados para gerar sumários estruturados de relatórios de bugs de software, especificamente extraindo seções como Passos para Reproduzir (S2R), Comportamento Real (AB) e Comportamento Esperado (EB). No entanto, esses modelos frequentemente produzem "alucinações" — conteúdo que soa plausível, mas não é factualmente sustentado. Os métodos existentes de detecção de alucinações geralmente avaliam as saídas no nível da resposta completa, tratando as alucinações como uma classe de erro monolítica. Essa abordagem falha em levar em conta as propriedades estruturais de documentos técnicos, onde diferentes seções (por exemplo, passos procedimentais versus comportamentos declarativos) desempenham papéis semânticos distintos. Consequentemente, os métodos atuais ignoram como os padrões de alucinação variam entre seções e não fornecem insights granulares sobre a localização ou o tipo de erros factuais, limitando sua utilidade em fluxos de trabalho críticos de Engenharia de Software (ES).

Metodologia

Os autores propõem um framework de detecção de alucinações consciente de seções, validado por meio de uma metodologia em três fases utilizando o conjunto de dados BugsRepo (derivado de projetos OSS da Mozilla).

1. Análise Exploratória e Modelagem de Atenção

• Observação Empírica: Um estudo inicial em 80 sumários gerados por LLMs revelou que ~47,9% continham informações ausentes e 12,3% incluíam conteúdo fabricado.
• Análise de Atenção: Os autores analisaram como modelos transformadores (BERT, RoBERTa, SciBERT, DeBERTa, DistilBERT) distribuem a atenção entre as seções S2R, AB e EB. Eles constataram que o Comportamento Esperado (EB) recebe a maior atenção, enquanto os Passos para Reproduzir (S2R) recebem a menor, sugerindo que os S2R são mais suscetíveis a alucinações devido à subutilização de informações procedimentais.

2. Construção de Conjunto de Dados Sintético

Devido à falta de benchmarks existentes para alucinações conscientes de seções, os autores construíram um conjunto de dados sintético:

• Conversão de Estruturado para Não Estruturado: Relatórios de bugs estruturados foram convertidos em narrativas não estruturadas usando o Mistral-7B.
• Filtragem de Qualidade: Uma métrica PARENT modificada (especificamente PARENTtable), que prioriza o alinhamento com a tabela de origem em vez do texto de referência, foi utilizada para filtrar conversões de baixa qualidade. Isso garantiu que os dados de treinamento preservassem fielmente as informações estruturadas.
• Injeção de Alucinações: Um pipeline controlado injetou alucinações sintéticas em seções específicas. As alucinações foram categorizadas em três tipos: Adição (conteúdo fabricado), Remoção (informação ausente) e Reordenação (mudanças estruturais).

3. Modelo de Detecção Consciente de Seções

Os autores propuseram uma abordagem de aprendizado multi-tarefa construída sobre um codificador transformador pré-treinado com ajuste fino eficiente em parâmetros (LoRA). O modelo realiza simultaneamente três tarefas:

1. Detecção no Nível do Relatório: Classificação binária de se um sumário contém alucinações.
2. Localização no Nível da Seção: Identificação de qual seção específica (S2R, AB ou EB) é afetada.
3. Classificação de Tipo: Categorização do tipo de alucinação (Adicionar, Remover, Reordenar).

O modelo é treinado usando uma função de perda combinada: $L = L_{report} + \lambda_s L_{section} + \lambda_t L_{type}$.

Principais Contribuições

1. Framework Consciente de Seções: Uma abordagem inovadora que modela explicitamente os papéis semânticos de S2R, AB e EB para detectar conjuntamente alucinações, localizar seções afetadas e classificar tipos de erro, indo além da detecção monolítica.
2. Benchmark Sintético: O desenvolvimento de um pipeline para converter relatórios de bugs estruturados em narrativas não estruturadas e injetar alucinações controladas, criando um benchmark publicamente disponível para pesquisa de alucinações no nível de seções.
3. Insights Empíricos: Evidências demonstrando que a sensibilidade a alucinações correlaciona-se com a alocação de atenção (por exemplo, S2R é mais vulnerável) e que alucinações do tipo remoção são significativamente mais difíceis de detectar do que adições.

Resultados

Experimentos foram conduzidos em quatro modelos pré-treinados (Mini-LLaMA-1B, Ministral-3B, Mistral-7B, LLaMA-8B) utilizando o conjunto de dados sintético construído.

• Desempenho: Modelos ajustados finamente superaram significativamente as linhas de base de prompting zero-shot, few-shot e Chain-of-Thought (CoT).
  • O melhor modelo, Ministral-3B, alcançou um Macro-F1 de 0,891 para detecção no nível do relatório, 0,829 Macro-F1 para localização no nível da seção e 0,836 Macro-F1 para classificação de tipo de alucinação.
  • Mistral-7B e LLaMA-8B mostraram desempenho comparável, enquanto modelos menores (Mini-LLaMA) exibiram desempenho inferior, indicando a necessidade de capacidade representacional suficiente.
• Localização de Seção: O modelo alcançou a maior precisão para S2R (F1=0,891), mas menor recall para AB e EB. Isso sugere que o modelo é conservador ao sinalizar alucinações em AB/EB, frequentemente perdendo erros de remoção nessas seções.
• Classificação de Tipo: O modelo teve bom desempenho em alucinações de Adição (F1=0,976) e Reordenação (F1=0,924). Alucinações de Remoção foram as mais desafiadoras (F1=0,525), principalmente porque detectar informações ausentes requer identificar a ausência de dados de origem em vez de apontar texto não sustentado.
• Análise de Erros: Uma análise qualitativa de 163 previsões incorretas revelou que 44,8% dos erros foram devidos a "informações ausentes ou implícitas difíceis de notar", particularmente em casos de remoção dentro das seções AB e EB.

Significado e Alegações

O artigo afirma que incorporar a estrutura do documento na análise de alucinações é crucial para melhorar a confiabilidade da sumarização de relatórios de bugs assistida por LLMs. Ao mudar de uma visão monolítica para uma perspectiva consciente de seções, a abordagem proposta fornece:

• Diagnóstico Granular: A capacidade de apontar exatamente onde (qual seção) e que tipo de erro ocorreu, em vez de apenas sinalizar um sumário como "alucinado".
• Eficiência de Recursos: A descoberta de que um modelo de escala média (Ministral-3B) pode alcançar desempenho forte sugere que a detecção de alta qualidade de alucinações não requer necessariamente recursos computacionais massivos.
• Fundação para Mitigação: Compreender que diferentes seções possuem perfis de vulnerabilidade distintos (por exemplo, S2R versus EB) permite o desenvolvimento de estratégias de detecção e mitigação direcionadas em fluxos de trabalho de manutenção de software.

Os autores mantêm modéstia em relação às suas alegações, reconhecendo que seu conjunto de dados sintético serve como um proxy operacional e que trabalhos futuros são necessários para validar essas descobertas em conjuntos de dados do mundo real anotados manualmente e em diversos sistemas de rastreamento de bugs empresariais.