Resumo Técnico: ConformalFL

Declaração do Problema

A Localização de Falhas Baseada em Espectro (SBFL) gera um ranking de linhas executáveis de programas com base na cobertura de testes, mas falha em fornecer ao desenvolvedor um critério de parada concreto. Os desenvolvedores devem decidir quantas linhas inspecionar antes de abandonar o ranking, uma decisão complicada pelas vastas diferenças de tamanho de programa, suporte de teste, concentração de pontuação e empates exatos de pontuação. Abordagens existentes frequentemente dependem de políticas fixas de Top-N ou heurísticas não calibradas que ignoram essas realidades operacionais e não oferecem uma garantia formal sobre o risco de perder uma falha.

O artigo aborda a necessidade de um método que traduza um "risco de perda marginal" selecionado pelo usuário (ex: "Estou disposto a perder a falha 10% das vezes") em um conjunto de inspeção adaptável ao bug específico. O objetivo é fornecer um conjunto de candidatos auditável e completo em relação a empates que contenha pelo menos uma linha defeituosa mapeada com uma probabilidade garantida, sem assumir que o método melhora a qualidade do ranking SBFL subjacente.

Metodologia

O método proposto, ConformalFL, aplica Regressão Quantílica Conformalizada (CQR) para prever o ponto de corte de inspeção para um bug específico com base em suas características de espectro pré-falha.

1. Formulação do Alvo

O método define o alvo de predição como a posição de entrada normalizada do grupo de pontuação mais precoce da falha ($y_{entry}$).

• Lógica Operacional: Os candidatos são ordenados por pontuação SBFL decrescente. Empates exatos formam grupos de pontuação. O método prevê uma fração $b_i$ e calcula um índice de corte $k_i$. O conjunto de candidatos resultante inclui todas as linhas com pontuações maiores ou iguais à pontuação na posição $k_i$.
• Tratamento de Empates: Para garantir que o conjunto seja "completo em empates", se o ponto de corte cair dentro de um grupo de empate, o grupo inteiro é incluído. O alvo é o ponto de entrada do grupo de empate da falha, não o fim, para evitar a contagem dupla desnecessária da expansão do empate.

2. Pipeline de Predição

• Vetor de Características: O modelo utiliza 20 características disponíveis antes da falha ser revelada, incluindo tamanho do código, métricas de teste/cobertura e 12 características de distribuição das pontuações Ochiai (momentos, entropia, lacunas, contagens de empate, etc.). A identidade do projeto e a localização da falha são excluídas do modelo primário.
• Regressão Quantílica: Um regressor de gradiente impulsionado estima o quantil superior condicional ($bq_{1-\alpha}$) do alvo $y_{entry}$ dado as características $x_i$.
• Correção Conformal: Para alcançar garantias de cobertura marginal em amostras finitas, o método utiliza um conjunto de calibração mantido fora (held-out). Ele calcula resíduos unidirecionais ($r_i = y_{entry, i} - bq_{1-\alpha}(x_i)$) e aplica uma correção baseada no quantil $(1-\alpha)$ desses resíduos.
• Ponto de Corte Final: O orçamento final é a soma do quantil previsto e da correção conformal, limitado ao intervalo $[0, 1]$. Se o tamanho da amostra de calibração necessária for insuficiente (ex: para alvos de alta cobertura com conjuntos de dados pequenos), o método recorre a um resultado de "não-compressão" (inspeção total), sinalizando explicitamente que o nível de risco solicitado não é suportado.

3. Desenho Experimental

• Dataset: Um universo fixo de 395 bugs históricos do Defects4J (Java), reduzido a 248 bugs "com candidato presente" (aqueles com pelo menos uma linha executável defeituosa mapeada e tanto testes passando quanto falhando).
• Protocolo: 33 divisões estratificadas por projeto (60% treinamento, 20% calibração, 20% teste).
• Comparadores:
  • GBR: O regressor quantílico de gradiente impulsionado não calibrado.
  • Conformal Global: Um ponto de corte constante independente de características derivado dos alvos de calibração.
  • Políticas Fixas: Políticas de Top-N e de porcentagem fixa pré-registradas (ex: Top-10%).
• Testes de Estresse: Avaliações de projeto mantido fora (Leave-One-Project-Out), deslocamento cronológico (deslocamento temporal) e cross-language (transferência para Python/BugsInPy).

Principais Resultados

Avaliado em um nível de cobertura nominal de 90%:

1. Cobertura vs. Carga de Trabalho:

   • ConformalFL (CQR): Alcançou 91,8% de cobertura média enquanto inspecionava 30,2% dos candidatos executáveis (mediana de 508,5 linhas).
   • Não Calibrado (GBR): Alcançou 87,6% de cobertura com 15,6% de inspeção.
   • Conformal Global: Alcançou 91,8% de cobertura, mas exigiu 44,2% de inspeção.
   • Top-10% Fixo: Alcançou 90,1% de cobertura com 28,3% de inspeção.

2. Valor da Calibração:

   • A calibração adicionou aproximadamente 4,2 pontos percentuais de cobertura sobre o GBR não calibrado, mas a um custo de +14,7 pontos percentuais de esforço de inspeção.
   • Comparado ao ponto de corte constante do Conformal Global, o CQR manteve a mesma cobertura média enquanto reduziu a inspeção em 14,0 pontos percentuais, demonstrando o valor de pontos de corte adaptáveis ao bug sobre os estáticos.

3. Distribuição da Carga de Trabalho:

   • A distribuição da carga de trabalho é altamente assimétrica. Embora a mediana da inspeção tenha sido de ~508 linhas, a média foi de ~1.521 linhas devido a uma cauda pesada.
   • 18,9% dos casos resultaram em "não-compressão" (inspeção total) devido aos empates de pontuação expandirem o conjunto de candidatos para todo o ranking. Isso ocorreu especificamente quando o ponto de corte caía em uma fronteira de pontuação zero.

4. Testes de Estresse:

   • Deslocamento de Projeto: A cobertura variou por projeto (85,7%–100%), e amostras de calibração pequenas (ex: 5 bugs) resultaram em resultados vacuos (100% de inspeção).
   • Cross-Language: Quando transferido para Python (BugsInPy) sem retreinamento, o CQR manteve alta cobertura empírica (98,3%), mas sofreu degradação severa na carga de trabalho, inspecionando 66,9% das instruções em média, com 53,3% dos casos exigindo inspeção total.

Significância e Alegações

O artigo faz alegações modestas e específicas em relação à contribuição do ConformalFL:

• Controle de Risco Auditável: A principal contribuição é um mapeamento auditável de um risco de perda solicitado para um conjunto de inspeção adaptável ao bug e completo em relação a empates. Ele fornece uma garantia formal de cobertura marginal sob a suposição de intercambialidade entre os bugs de calibração e os de implantação.
• Não Dominância Universal: O artigo afirma explicitamente que o ConformalFL não domina empiricamente políticas fixas bem escolhidas (como Top-10%) neste benchmark. A política fixa de Top-10% teve desempenho comparável em termos de cobertura e esforço sem exigir calibração.
• Limitações:
  • O método não melhora a qualidade do ranking SBFL subjacente.
  • O método não garante cobertura condicional para projetos ou subpopulações específicas.
  • O método não garante validade sob deslocamentos de distribuição (ex: cross-language ou novos projetos) onde a intercambialidade falha.
  • O método não mede o tempo de depuração humana, pois a contagem de linhas não equivale aos custos de troca de contexto ou esforço de compreensão.

Conclusão: O ConformalFL oferece uma ferramenta prática para equipes com dados históricos de falhas para substituir heurísticas não calibradas por uma regra transparente que troca explicitamente o risco de perda pelo esforço de inspeção. No entanto, sua utilidade é limitada pela necessidade de dados de calibração representativos e pelo potencial de resultados de "não-compressão" quando os empates de pontuação são frequentes ou as amostras de calibração são pequenas.