Fine-grained Approaches for Confidence Calibration of LLMs in Automated Code Revision

Resumo Técnico: Abordagens de Alta Granularidade para Calibração de Confiança em LLMs para Revisão de Código Automatizada

1. O Problema

No cenário atual de Engenharia de Software assistida por IA, os Grandes Modelos de Linguagem (LLMs) são ferramentas indispensáveis, mas inerentemente imperfeitas. A tendência desses modelos de gerar saídas incorretas pode interromper o fluxo de trabalho dos desenvolvedores e reduzir a produtividade.

• Desafio Principal: Para que os desenvolvedores confiem e tomem decisões informadas sobre a aceitação de código gerado, o modelo deve fornecer uma pontuação de confiança bem calibrada (que reflita fielmente a probabilidade de correção).
• Limitação Atual: LLMs pós-treinados não produzem pontuações de confiança bem calibradas "de fábrica". Métodos de calibração post-hoc existentes, como o Platt-scaling global (aplicado a pontuações de confiança em nível de sequência inteira), mostram-se eficazes em tarefas de geração de código, mas falham ou são insuficientes em tarefas de Revisão de Código Automatizada (ACR), como reparo de programas, reparo de vulnerabilidades e refinamento de código.
• Hipótese: A natureza "granular" (de alta resolução) das tarefas de ACR exige uma abordagem diferente. A correção em ACR depende frequentemente de decisões de edição locais específicas. Métodos globais que tratam o código como um bloco único mascaram a incerteza crítica localizada em tokens específicos, levando a erros de calibração dependentes da amostra.

2. Metodologia

Os autores propõem uma abordagem de calibração de alta granularidade composta por duas inovações principais:

A. Pontuações de Confiança de Alta Granularidade (Fine-grained Confidence Scores)
Em vez de usar a probabilidade média ou a verossimilhança de toda a sequência, o estudo propõe três métricas focadas nas decisões locais mais críticas:

1. Probabilidade Mínima do Token ($P_{min}$): A menor probabilidade atribuída pelo modelo a qualquer token na sequência. Baseia-se na premissa de que um único token incorreto pode invalidar toda a implementação.
2. Probabilidade dos K Menores Tokens ($P_{low-K}$): A média aritmética das $K$ menores probabilidades de token, onde $K$ é selecionado dinamicamente (usando o algoritmo Kneedle) para focar na cauda de baixa probabilidade, sendo mais robusto a outliers do que a probabilidade mínima.
3. Incerteza Ponderada por Atenção ($P_{attn-\omega}$): Uma extensão da métrica anterior que pondera as baixas probabilidades com base na "saliência" do token (quantos tokens subsequentes dependem dele via mecanismos de atenção). Tokens com baixa probabilidade e alta influência são penalizados mais severamente.

B. Platt-scaling Local (Local Platt-scaling)

• Método Global (Base): Treina um único classificador logístico para todo o conjunto de dados de uma tarefa.
• Método Local (Proposto): Reconhece que os erros de calibração podem variar entre diferentes subgrupos de amostras (heterogeneidade).
  • Utiliza embeddings de entrada/saída para agrupar amostras similares (usando HDBSCAN).
  • Treina um calibrador logístico distinto para cada cluster.
  • Durante a inferência, a nova instância é atribuída a um cluster e recebe a calibração específica daquele grupo, ou usa uma estratégia de backoff (calibrador global ou pontuação bruta) se for um outlier.

Configuração Experimental:

• Tarefas: Reparo de Programas (DCF-Bug), Reparo de Vulnerabilidades (DCF-Vul) e Refinamento de Código (CR-Trans).
• Modelos: 14 modelos LLM de código aberto (famílias Llama, CodeLlama, Qwen, DeepSeek) variando de 7B a 72B parâmetros.
• Métricas de Avaliação: Erro de Calibração Esperado (ECE), Pontuação Brier (B) e Cobertura de Bins (BC).

3. Principais Contribuições

1. Primeira Proposta de Pontuações de Alta Granularidade para ACR: Identificam que sinais de incerteza relevantes estão ocultos em decisões de edição locais, que as pontuações de nível de sequência ignoram.
2. Introdução do Platt-scaling Local para ACR: Corrigem padrões de miscalibração dependentes da amostra que o método global falha em capturar.
3. Análise Abrangente: Avaliação sistemática de 5 pontuações de confiança e 2 métodos de calibração em 3 tarefas e 14 modelos.

4. Resultados Chave

• Análise Preliminar (RQ1): As distribuições de probabilidade de tokens em correções de código exibem forte assimetria negativa (muitos tokens com alta probabilidade, poucos com baixa). As pontuações de alta granularidade conseguem separar melhor as correções corretas das incorretas (maior distância de Wasserstein e correlação de Kendall) do que as pontuações de nível de sequência.

  • Destaque: A Probabilidade Mínima do Token foi consistentemente a melhor pontuação em todas as tarefas.

• Eficácia do Platt-scaling Global (RQ2):

  • Em Reparo de Programas e Vulnerabilidades, o Platt-scaling global com pontuações de alta granularidade (especialmente $P_{min}$) superou significativamente os métodos de nível de sequência, reduzindo o erro de calibração e evitando o colapso de bins (onde todas as amostras recebem a mesma pontuação).
  • Em Refinamento de Código, o Platt-scaling global, mesmo com pontuações finas, não foi suficiente para atingir níveis de erro aceitáveis para tomada de decisão.

• Impacto do Platt-scaling Local (RQ3):

  • Reparo de Programas/Vulnerabilidades: O método local trouxe melhorias marginais (redução de ECE de ~0.01 a 0.07) em relação ao global, mas aumentou a cobertura de bins.
  • Refinamento de Código: O método local foi essencial. Sem ele, o erro de calibração permanecia alto e a cobertura de bins baixa. O método local reduziu significativamente o erro de calibração e corrigiu a heterogeneidade de erros inerente a revisões de código abertas.

5. Significado e Recomendações Práticas

O estudo fornece diretrizes claras para a implementação de LLMs em ferramentas de engenharia de software:

1. Para Reparo de Programas e Vulnerabilidades:

   • Se a latência for prioritária: Use Probabilidade Mínima com Platt-scaling Global. Oferece calibração suficiente com custo computacional mínimo.
   • Se a precisão absoluta for crítica: Adicione o Platt-scaling Local, aceitando o custo adicional de inferência (embedding + clusterização).

2. Para Refinamento de Código (Code Review):

   • O uso de Platt-scaling Local combinado com pontuações de alta granularidade é imperativo. O método global falha severamente nesta tarefa devido à alta variabilidade e heterogeneidade dos problemas de revisão de código.

Conclusão Geral:
A calibração de confiança em tarefas de revisão de código não pode ser tratada como um problema global uniforme. A natureza local das correções de código exige métricas de incerteza focadas em tokens críticos e calibradores adaptativos que considerem a heterogeneidade das amostras. Esta pesquisa estabelece um novo padrão para a quantificação de incerteza em IA para Engenharia de Software, permitindo que desenvolvedores confiem e utilizem LLMs de forma mais segura e eficiente.