Resumo Técnico: De Fatias de Programa a Clareza Causal

Declaração do Problema

Sistemas de depuração baseados em Modelos de Linguagem de Grande Porte (LLMs) estão cada vez mais capazes de gerar explicações de falhas. No entanto, essas explicações são frequentemente incompletas, vagas ou incorretas, representando riscos significativos para tarefas subsequentes, como triagem de bugs e correção automatizada. A pesquisa atual trata predominantemente as explicações de falhas como um subproduto ad hoc de fluxos de trabalho de depuração, confiando em prompts genéricos sobre artefatos indiferenciados (por exemplo, arquivos de código inteiros, logs de erro completos) em vez de tratar as explicações como uma saída de primeira classe com avaliação de qualidade dedicada.

Consequentemente, as abordagens existentes carecem de suporte para avaliar se as explicações capturam o mecanismo defeito–erro–falha subjacente ou fornecem próximos passos acionáveis. Além disso, a suposição predominante de que "mais contexto é melhor" na engenharia de software baseada em LLMs frequentemente leva à diluição semântica, onde contexto excessivo ou irrelevante (por exemplo, prosa longa, despejos amplos de código) obscurece evidências críticas relevantes para a falha, resultando em explicações vagas. Existe uma lacuna crítica na compreensão de como composições de contexto específicas afetam a clareza causal e a acionabilidade das explicações geradas por LLMs.

Metodologia

Os autores propõem um framework sistemático para avaliar como a manipulação do contexto de depuração influencia a qualidade da explicação e o sucesso da reparação subsequente.

1. Particionamento de Contexto e Módulos

O estudo trata evidências de depuração como módulos de contexto composáveis. Para cada defeito, o sistema define um conjunto fixo de oito módulos:

• Artefatos Diretos: CODE (código-fonte), ERROR (mensagem de erro), TEST (teste falho), DOCSTRING (documentação).
• Módulos Derivados de Fatias: SLICE_BLOCK (bloco AST envolvente), SLICE_BACKWARD (fatia dinâmica reversa), SLICE_FORWARD (fatia direta) e SLICE_UNION (união de fatias reversa/direta).

Os pesquisadores geraram 93 configurações de contexto únicas por defeito, variando de módulos isolados a combinações em pares e trios, incluindo uma BASELINE contendo todos os módulos.

2. Configuração Experimental

• Conjunto de Dados: 12 defeitos de software localizados e reproduzíveis, originalmente do Defects4J (Java), portados manualmente para Python para mitigar riscos de contaminação por pré-treinamento.
• Modelos: Três modelos economicamente viáveis foram avaliados: gpt-5-mini, DeepSeek-V3.2 e Grok-4.1-fast.
• Procedimento: Para cada defeito e configuração, o LLM gerou uma explicação de falha. O estudo também gerou correções em duas condições: (i) sem uma explicação (NO_EXPLANATION) e (ii) com a explicação gerada anexada (WITH_EXPLANATION).

3. Framework de Avaliação

A qualidade da explicação foi operacionalizada via seis critérios binários (C1–C6):

• C1 (Legibilidade): Medida via nível de escolaridade Flesch–Kincaid (determinístico).
• C2 (Identificação do Problema): Identificação correta da causa raiz (LLM como juiz).
• C3 (Cadeia Causal): Explicação coerente do mecanismo defeito-erro-falha (LLM como juiz).
• C4 (Acionabilidade): Próximos passos concretos e utilizáveis por desenvolvedores (LLM como juiz).
• C5 (Fundamentação): Referências explícitas aos artefatos fornecidos (determinístico).
• C6 (Brevidade): Concisão (LLM como juiz).

Validação de LLM como Juiz: Para abordar a subjetividade dos critérios C2–C4 e C6, os autores conduziram um estudo com 12 especialistas em engenharia de software. Eles validaram que as pontuações de LLM como juiz alinham-se bem com as classificações humanas para critérios causais e acionáveis (C2–C4), mas mostram menor concordância para brevidade (C6).

4. Utilidade Subsequente

O estudo quantificou a utilidade das explicações comparando as taxas de aprovação de correções e a similaridade das correções geradas com correções mínimas de referência (usando métricas de diff normalizadas por AST) entre as condições NO_EXPLANATION e WITH_EXPLANATION.

Principais Contribuições

1. Catálogo e Pipeline de Módulos de Contexto: Um pipeline sistemático que trata o contexto de depuração como módulos composáveis, permitindo a geração e avaliação de explicações e correções sob composições de contexto variadas.
2. Framework de Avaliação Específico para Explicações de Falhas: Um framework de qualidade multidimensional (C1–C6) que vai além do sucesso da tarefa (correção do patch) para avaliar clareza causal e acionabilidade, validado contra julgamento humano.
3. Estudo Empírico de Particionamento de Contexto: Um estudo em grande escala (93 configurações × 3 modelos × 12 defeitos) quantificando como a composição do contexto molda a qualidade da explicação e seu efeito causal na precisão da reparação subsequente.

Resultados

1. Validade de LLM como Juiz (RQ1)

LLM como juiz serve como um proxy confiável para avaliação humana em critérios causais (C2, C3) e orientados à ação (C4), alcançando alta concordância (0,74–0,88). No entanto, a concordância cai para brevidade (C6) (aprox. 0,58), que os humanos classificaram como o critério mais difícil de julgar. Os LLMs também tendem a ser mais "propensos a aprovar" do que os humanos, particularmente na brevidade.

2. Discriminatividade dos Critérios (RQ2)

Os critérios de avaliação não são igualmente discriminativos. Critérios causais e orientados à ação (C2–C4) são fortes preditores do sucesso da reparação subsequente. Explicações no quartil de maior qualidade (Q4) consistentemente produziram taxas de aprovação de correção mais altas do que aquelas no quartil de menor qualidade (Q1). Notavelmente, explicações de baixa qualidade (Q1) poderiam desempenhar pior que a linha de base NO_EXPLANATION em algumas configurações (por exemplo, DeepSeek-V3.2 em contextos de trio: taxa de aprovação Q1 0,341 vs. linha de base 0,500).

3. Sensibilidade à Solicitação de Contexto (RQ3)

A qualidade da explicação é altamente sensível à composição do contexto:

• Artefatos Ricos em Evidências: Para DeepSeek-V3.2 e Grok-4.1-fast, adicionar módulos CODE e TEST forneceu os efeitos marginais positivos mais fortes na qualidade.
• Ruído de Prosa: Adicionar DOCSTRING frequentemente teve efeitos marginais negativos, sugerindo que introduz ruído em relação a evidências executáveis.
• Dependência do Modelo: gpt-5-mini performou mal com contextos amplos e beneficiou-se mais de módulos derivados de fatias (especialmente SLICE_UNION), que melhoraram a fundamentação.
• Efeitos de Composição: Para DeepSeek-V3.2 e Grok-4.1-fast, combinações de contexto de trio geralmente produziram pontuações de qualidade mais altas do que configurações em pares ou isoladas.

4. Precisão de Reparação Subsequente (RQ4)

Quartis de maior qualidade de explicação estão associados a:

• Maiores Taxas de Aprovação de Reparação: Melhorias significativas nas taxas de aprovação para Q4 vs. Q1 em configurações compostas (em pares e em trio).
• Correções Semelhantes à Referência: Para DeepSeek-V3.2 e Grok-4.1-fast, explicações de alta qualidade correlacionaram-se com correções que estavam mais próximas da correção mínima de referência (menores desvios de linha e menos edições espúrias). No entanto, esse efeito foi dependente do modelo e não estatisticamente significativo em todos os modelos ou lotes.

Significado e Alegações

O artigo alega que a qualidade da explicação é causalmente afetada pela composição do contexto, desafiando a suposição de que fornecer mais contexto é inerentemente benéfico. Os autores demonstram que:

• Engenharia de Contexto Importa: Selecionar artefatos específicos e relevantes para a falha (como CODE e TEST) e usar fatiamento de programa para isolar evidências melhora significativamente a clareza causal e a acionabilidade das explicações de LLM.
• Qualidade Impulsiona Utilidade: Explicações de alta qualidade não são apenas interpretativas; elas melhoram diretamente a taxa de sucesso e a precisão de correções automatizadas subsequentes. Por outro lado, explicações pobres podem ativamente prejudicar o processo de reparação.
• A Avaliação Deve Ser Multidimensional: Confiar apenas no sucesso da tarefa (por exemplo, "o patch passou nos testes?") é insuficiente. Um framework dedicado para avaliar a compreensão causal e a acionabilidade é necessário para construir pipelines de depuração baseados em LLM confiáveis.

Os autores concluem que estratégias de seleção de contexto conscientes do modelo são essenciais. Os sistemas devem priorizar artefatos executáveis e usar fatiamento para restringir o contexto, em vez de confiar em prompts genéricos e indiferenciados.