Resumo Técnico: FOCAL – Predição de Oráculo de Teste Consciente de Falhas e Explicável

1. Definição do Problema

A construção de oráculos de teste eficazes continua sendo um desafio persistente e dispendioso na automação de testes unitários, conhecido como o "problema do oráculo". Embora ferramentas automatizadas (ex: EvoSuite, Randoop) possam gerar prefixos de teste (código de configuração e estímulo) em escala, determinar se o comportamento observado constitui uma falha é difícil.

• Limitações das Abordagens Existentes: Métodos tradicionais dependem de sinais de tempo de execução (crashes, hangs) ou asserções de regressão, que frequentemente perdem falhas semânticas silenciosas. Geradores de asserção baseados em aprendizado tendem a reproduzir o comportamento observado ou padrões frequentes, em vez de expor falhas.
• A Lacuna Discriminativa: Trabalhos recentes como o SEER tentam recategorizar a construção de oráculos como uma tarefa direta de predição PASS/FAIL (PASS/FALHA). No entanto, as avaliações revelam uma falha crítica: embora o SEER alcance alta acurácia agregada (86,72%), ele falha em detectar casos de falha efetivamente (recall de FALHA de apenas 2,95%). A alta acurácia geral em dados dominados por PASS mascara uma sensibilidade fraca aos casos específicos mais críticos para a detecção de falhas.

2. Metodologia: FOCAL

O artigo apresenta o FOCAL (Fail-Aware Code LLM-based Discriminative Oracle Predictor), um modelo projetado para prever diretamente se um par dado de prefixo de teste e Método Sob Teste (MUT) deve PASS ou FAIL, com foco específico em melhorar a detecção de falhas e fornecer evidência explicável.

Arquitetura e Representação

• Encoder: O FOCAL utiliza um encoder CodeT5 compartilhado, adaptado via Low-Rank Adaptation (LoRA).
• Codificação de Torre Dupla (Dual-Tower): O prefixo de teste ($t$) e o MUT ($m$) são codificados separadamente em representações $h_t$ e $h_m$.
• Representação de Par Consciente de Relação: Para capturar a interação entre o teste e o método, o FOCAL concatena as representações individuais, sua diferença absoluta e seu produto elemento a elemento:
  $$z = [h_t; h_m; |h_t - h_m|; h_t \odot h_m]$$
  Este vetor $z$ é passado para um classificador leve para a predição final PASS/FAIL.

Estratégia de Treinamento (Otimização Consciente de Falhas)

O FOCAL emprega uma função de perda composta para abordar o desequilíbrio de classes e a necessidade de alta sensibilidade a falhas:
$$L = \lambda_{cls}L_{cls} + \lambda_{rank}L_{rank}$$

• Classificação Focal: O termo de classificação ($L_{cls}$) utiliza focal loss para reduzir o peso de exemplos fáceis e focar o treinamento em casos de falha difíceis.
• Ranking de Margem: O termo de ranking ($L_{rank}$) utiliza similaridade de cosseno para garantir que pares compatíveis (PASS) recebam pontuações mais altas do que pares incompatíveis (FAIL).
• Parâmetros: Apenas os adaptadores LoRA e o classificador leve são atualizados; o backbone pré-treinado CodeT5 permanece congelado.

Explicabilidade (Evidência ao Nível de Instrução)

Para pares preditos como FAIL, o FOCAL gera evidências interpretáveis por humanos usando Gradientes Integrados (IG):

1. Atribuição: O IG é aplicado ao logit de FALHA para atribuir pontuações de atribuição aos tokens, que são agregadas em pontuações ao nível de instrução (statement-level).
2. Seleção de Evidência: As instruções (statements) do top-$k$ tanto do teste quanto do MUT são selecionadas como o conjunto de evidência ($E_k$).
3. Verificações de Fidelidade: O artigo valida essas explicações através de três verificações comportamentais:
   • Verificação de Deleção: Remover as instruções selecionadas reduz significativamente a confiança de FALHA (ex: caindo de 1.0 para $7,1 \times 10^{-3}$).
   • Verificação de Manutenção (Keep-Only): Manter apenas as instruções selecionadas preserva a confiança de FALHA (ex: mantendo-a em 1.0).
   • Verificação Contrafactual: Editar as instruções de maior ranking (ex: deletar uma instrução específica do MUT) altera com sucesso a predição de FAIL para PASS, confirmando o vínculo causal entre as instruções destacadas e a decisão do modelo.

3. Resultados Principais

A avaliação foi conduzida em conjuntos de dados derivados do Defects4J (in-domain) e um benchmark de projeto não visto (artefatos TOGA).

• Desempenho In-Domain: O FOCAL alcança um desempenho sólido no conjunto de teste do Defects4J, com 97,65% de acurácia, 97,70% de F1 de Pass e 97,61% de F1 de Fail.
• Desempenho em Projeto Não Visto (Cross-Project):
  • SEER: Alcança 86,72% de acurácia, mas falha em detectar falhas, com um Recall de FALHA de 2,95% e F1 de FALHA de 3,87%.
  • FOCAL: Embora a acurácia agregada seja ligeiramente menor (81,99%) devido à dificuldade da tarefa, o FOCAL melhora substancialmente a detecção de falhas:
    • Recall de FALHA: Aumenta de 2,95% para 23,32%.
    • F1 de FALHA: Aumenta de 3,87% para 19,04%.
    • F1 Macro: Melhora de 0,4837 para 0,5445.
  • Em termos absolutos, o FOCAL detecta 4.856 casos de falha comparado aos 614 do SEER.
• Validade da Explicação: Em uma amostra de 300 predições de FALHA, remover as instruções de maior ranking reduziu a confiança de FALHA em uma média de 0,3614 (vs. 0,0319 para remoção aleatória). Edições contrafactuais nas instruções principais inverteram 85,7% das predições para PASS, comparado a 10,3% para instruções aleatórias.

4. Significância e Alegações

O artigo posiciona o FOCAL não como um substituto para os oráculos generativos ou escritos por humanos existentes, mas como uma abordagem complementar para cenários onde asserções executáveis estão indisponíveis, não confiáveis ou são custosas demais para obter.

• Paradigma Consciente de Falhas (Fail-Aware): A principal contribuição é o argumento de que oráculos aprendidos devem ser avaliados explicitamente em métricas de detecção de falhas, em vez de acurácia agregada. O artigo demonstra que altos escores agregados podem esconder uma incapacidade total de detectar falhas em projetos não vistos.
• Complementaridade: O FOCAL é projetado para integrar-se com pipelines de teste existentes (ex: fuzzing, busca de testes, geração baseada em LLM). Essas ferramentas podem gerar prefixos de teste em escala, enquanto o FOCAL atua como uma "camada de detecção de falhas" para anexar oráculos preditos a eles, convertendo a geração de alto volume de inputs em testes executáveis que provavelmente exporão falhas semânticas.
• Explicabilidade: Ao fornecer evidência ao nível de instrução que passa por verificações comportamentais, o FOCAL oferece uma base para inspecionar julgamentos, servindo potencialmente como um ponto de partida para delta debugging ou localização de falhas baseada em espectro.

Os autores concluem que, embora os resultados atuais sejam preliminares e a detecção de falhas entre projetos permaneça um desafio, a abordagem valida uma direção de pesquisa promissora: oráculos aprendidos que raciocinam diretamente sobre o comportamento PASS/FAIL e fornecem fundamentação comportamental para suas predições.