When to Answer and When to Defer: A Decision Framework for Reliable Code Predictions

Resumo Técnico: Quando Responder e Quando Adiar

Declaração do Problema
Modelos de linguagem de código estão sendo cada vez mais implantados para tarefas de classificação (por exemplo, detecção de vulnerabilidades) e tarefas generativas (por exemplo, síntese de código). No entanto, esses modelos frequentemente exibem um alinhamento pobre entre a confiança preditiva e a correção real, atribuindo frequentemente alta confiança a previsões incorretas e baixa confiança a previsões corretas. Os métodos existentes de calibração e estimativa de incerteza, desenvolvidos em grande parte para linguagem natural, não se transferem efetivamente para o código. Especificamente, técnicas de calibração post-hoc frequentemente reduzem a miscalibração média, mas falham em melhorar a classificação das previsões por probabilidade de correção, o que é um pré-requisito para a previsão seletiva eficaz (abstenção). Além disso, as abordagens atuais tratam a incerteza como um indicador passivo, em vez de um sinal acionável, carecendo de mecanismos integrados para resolver ou validar casos incertos.

Metodologia: Um Framework de Decisão Unificado
Os autores propõem um framework orientado à implantação que integra estimativa de incerteza, calibração de modelos e tratamento de abstenção baseado em ferramentas. O framework é projetado para operar em tarefas de classificação e generativas através de três componentes principais:

1. Estimativa de Incerteza: O sistema extrai sinais internos dos modelos para informar decisões a jusante. Isso inclui métricas derivadas de distribuições preditivas e métodos que quantificam a variabilidade do modelo sob perturbações controladas. Esses sinais servem como base para o cálculo da probabilidade de correção, em vez de atuarem como filtros diretos.
2. Estratégias de Calibração:
   • Calibração Pré-implantação: Para modelos de classificação, o framework introduz um cabeçalho de abstenção explícito ou uma classe de "rejeição" no espaço de rótulos, treinada com perdas conscientes de risco seletivo. Para modelos generativos, emprega treinamento consciente de recompensa para alinhar a geração com proxies de correção (por exemplo, taxas de aprovação em validação), incentivando comportamento conservador sob incerteza.
   • Calibração Pós-implantação: Para habilitar a abstenção sem retreinamento, o framework aplica esquemas de calibração ponderada (enfatizando classes com alto erro ou sub-representadas) e calibração consciente de variância (mapeando a dispersão de previsões para probabilidades de correção). Para modelos generativos, a calibração ocorre tanto no nível de token (para confiança incremental) quanto no nível de sequência (para avaliação holística da saída).
3. Abstenção e Recuperação (Camada MCP): Quando uma pontuação calibrada cai abaixo de um limite ajustável, o sistema abstém-se e ativa uma camada de recuperação de Protocolo de Modelo-Contexto (MCP).
   • Para Tarefas Generativas: A camada MCP aborda modos de falha ao aumentar entradas com informações de tarefa ausentes (por exemplo, gerando planos intermediários), injetando conhecimento externo (por exemplo, trechos de documentação) ou impondo simplificações (por exemplo, restringindo o comprimento da geração).
   • Para Tarefas de Classificação: A abstenção dispara recuperação específica de domínio usando analisadores estáticos, ferramentas de fatiamento de programas ou validadores baseados em regras para avaliar o fluxo de controle e dependências de dados, garantindo que as decisões sejam apoiadas por evidências simbólicas.

Principais Contribuições

• Framework Unificado: Uma arquitetura generalizável para abstenção seletiva e recuperação estruturada em tarefas de modelagem de código tanto de classificação quanto generativas.
• Calibração Específica de Tarefa: Estratégias de calibração inovadoras adaptadas ao código, incluindo calibração comportamental baseada em logits para classificação e escalonamento ponderado para modelos generativos.
• Mecanismos de Abstenção em Duas Fases: Métodos para abstenção explícita via retreinamento do modelo (pré-implantação) e via limites de confiança calibrada sem retreinamento (pós-implantação).
• Abstenção Acionável: Uma re-conceitualização da abstenção como um primitivo de decisão que dispara intervenções guiadas por ferramentas (MCP), em vez de uma falha terminal.
• Compromisso com a Ciência Aberta: Um compromisso de liberar código, configurações e conjuntos de dados sob uma licença permissiva.

Resultados Preliminares
Os autores apresentam achados empíricos avaliando a transferibilidade de métricas de incerteza e técnicas de calibração para modelos de código pré-treinados:

• Modelos Generativos: Um método de escalonamento logístico ponderado aplicado ao DeepSeek-Coder-7b e CodeLlama-7b no benchmark MBPP+ reduziu consistentemente o erro de calibração (ECE) e a pontuação Brier em comparação com o escalonamento de Platt e a regressão isotônica. Com 80% de cobertura, a precisão da previsão seletiva excedeu 70%.
• Modelos de Classificação: Um método de calibração comportamental operando diretamente nos logits do modelo (contornando o softmax) foi aplicado a tarefas de previsão de defeitos. Essa abordagem produziu as menores pontuações Brier e ECE entre as estratégias testadas, alcançando mais de 90% de precisão seletiva com 80% de cobertura para DeepSeek-Coder-7b e Qwen-Coder-7b.
• Métricas de Incerteza: A avaliação de 16 métricas de incerteza em previsão de defeitos, detecção de vulnerabilidades e geração de código revelou que, embora muitas corrijam com a correção, nenhuma serve como uma solução agnóstica de tarefa para abstenção confiável sem calibração comportamental. Métricas não calibradas frequentemente superestimam a confiabilidade em previsões errôneas devido ao casamento de padrões superficiais no código.

Significado e Alegações
O artigo argumenta que a implantação confiável de modelos de código exige ir além do relatório passivo de confiança para sistemas operacionais que agem com cautela sob incerteza. Os autores afirmam que seu framework fornece uma base para o uso consciente de risco e controlado por cobertura de modelos de código. Ao tratar a abstenção como um mecanismo de tomada de decisão principista apoiado por ferramentas de análise leves, o trabalho visa habilitar a implantação robusta em fluxos de trabalho de engenharia de software de alto risco sem sacrificar a cobertura pela segurança. A pesquisa enfatiza que a abstenção eficaz em tarefas de código requer calibração comportamental — alinhando a confiança interna com a correção ao nível de cada instância — em vez de depender exclusivamente de métricas distribucionais.