When to Answer and When to Defer: A Decision Framework for Reliable Code Predictions

Resumen Técnico: Cuándo Responder y Cuándo Diferir

Enunciado del Problema
Los modelos de lenguaje de código se despliegan cada vez más para tareas de clasificación (por ejemplo, detección de vulnerabilidades) y generativas (por ejemplo, síntesis de código). Sin embargo, estos modelos exhiben frecuentemente una pobre alineación entre la confianza predictiva y la corrección real, asignando a menudo alta confianza a predicciones incorrectas y baja confianza a las correctas. Los métodos existentes de calibración y estimación de incertidumbre, desarrollados en gran medida para el lenguaje natural, no se transfieren eficazmente al código. Específicamente, las técnicas de calibración post-hoc a menudo reducen la mala calibración promedio pero no mejoran la clasificación de las predicciones según su probabilidad de corrección, lo cual es un prerrequisito para una predicción selectiva efectiva (abstención). Además, los enfoques actuales tratan la incertidumbre como un indicador pasivo en lugar de una señal accionable, careciendo de mecanismos integrados para resolver o validar casos inciertos.

Metodología: Un Marco Unificado de Decisión
Los autores proponen un marco orientado al despliegue que integra la estimación de incertidumbre, la calibración del modelo y el manejo de abstención basado en herramientas. El marco está diseñado para operar tanto en tareas de clasificación como generativas a través de tres componentes centrales:

1. Estimación de Incertidumbre: El sistema extrae señales internas de los modelos para informar decisiones aguas abajo. Esto incluye métricas derivadas de distribuciones predictivas y métodos que cuantifican la variabilidad del modelo bajo perturbaciones controladas. Estas señales sirven como base para calcular la probabilidad de corrección en lugar de actuar como filtros directos.
2. Estrategias de Calibración:
   • Calibración Pre-despliegue: Para modelos de clasificación, el marco introduce una cabeza de abstención explícita o una clase de "rechazo" en el espacio de etiquetas, entrenada con pérdidas conscientes del riesgo selectivo. Para modelos generativos, emplea un entrenamiento consciente de la recompensa para alinear la generación con proxies de corrección (por ejemplo, tasas de aprobación de validación), fomentando un comportamiento conservador bajo incertidumbre.
   • Calibración Post-despliegue: Para habilitar la abstención sin reentrenamiento, el marco aplica esquemas de calibración ponderada (enfatizando clases con alto error o subrepresentadas) y calibración consciente de la varianza (mapeando la dispersión de predicciones a probabilidades de corrección). Para modelos generativos, la calibración ocurre tanto a nivel de token (para confianza incremental) como a nivel de secuencia (para evaluación holística de la salida).
3. Abstención y Recuperación (Capa MCP): Cuando una puntuación calibrada cae por debajo de un umbral ajustable, el sistema se abstiene y activa una capa de recuperación de Protocolo de Modelo-Contexto (MCP).
   • Para Tareas Generativas: La capa MCP aborda modos de fallo mediante el aumento de entradas con información de tarea faltante (por ejemplo, generando planes intermedios), inyectando conocimiento externo (por ejemplo, fragmentos de documentación) o imponiendo simplificaciones (por ejemplo, restringiendo la longitud de generación).
   • Para Tareas de Clasificación: La abstención desencadena una recuperación específica del dominio utilizando analizadores estáticos, herramientas de segmentación de programas o validadores basados en reglas para evaluar el flujo de control y las dependencias de datos, asegurando que las decisiones estén respaldadas por evidencia simbólica.

Contribuciones Clave

• Marco Unificado: Una arquitectura generalizable para la abstención selectiva y la recuperación estructurada en tareas de modelado de código tanto de clasificación como generativas.
• Calibración Específica de Tarea: Estrategias de calibración novedosas adaptadas al código, incluyendo calibración conductual basada en logits para clasificación y escalado ponderado para modelos generativos.
• Mecanismos de Abstención de Doble Fase: Métodos para la abstención explícita mediante reentrenamiento del modelo (pre-despliegue) y mediante umbrales de confianza calibrada sin reentrenamiento (post-despliegue).
• Abstención Accionable: Una re-conceptualización de la abstención como un primitivo de decisión que desencadena intervenciones guiadas por herramientas (MCP) en lugar de un fallo terminal.
• Compromiso de Ciencia Abierta: Un compromiso de liberar código, configuraciones y conjuntos de datos bajo una licencia permisiva.

Resultados Preliminares
Los autores presentan hallazgos empíricos que evalúan la transferibilidad de métricas de incertidumbre y técnicas de calibración a modelos de código preentrenados:

• Modelos Generativos: Un método de escalado logístico ponderado aplicado a DeepSeek-Coder-7b y CodeLlama-7b en el benchmark MBPP+ redujo consistentemente el error de calibración (ECE) y la puntuación Brier en comparación con el escalado de Platt y la regresión isotónica. Con una cobertura del 80%, la precisión de predicción selectiva superó el 70%.
• Modelos de Clasificación: Un método de calibración conductual que opera directamente sobre los logits del modelo (eludiendo softmax) se aplicó a tareas de predicción de defectos. Este enfoque produjo las puntuaciones Brier y ECE más bajas entre las estrategias probadas, logrando una precisión selectiva superior al 90% con una cobertura del 80% para DeepSeek-Coder-7b y Qwen-Coder-7b.
• Métricas de Incertidumbre: La evaluación de 16 métricas de incertidumbre en predicción de defectos, detección de vulnerabilidades y generación de código reveló que, aunque muchas se correlacionan con la corrección, ninguna sirve como solución agnóstica a la tarea para una abstención fiable sin calibración conductual. Las métricas no calibradas a menudo sobreestiman la fiabilidad en predicciones erróneas debido a la coincidencia superficial de patrones en el código.

Significado y Afirmaciones
El artículo argumenta que el despliegue fiable de modelos de código requiere ir más allá del informe pasivo de confianza hacia sistemas operativos que actúen con cautela bajo incertidumbre. Los autores afirman que su marco proporciona una base para el uso consciente del riesgo y controlado por cobertura de modelos de código. Al tratar la abstención como un mecanismo de toma de decisiones principiado respaldado por herramientas de análisis ligeras, el trabajo busca habilitar un despliegue robusto en flujos de trabajo de ingeniería de software de alto riesgo sin sacrificar la cobertura por seguridad. La investigación enfatiza que la abstención efectiva en tareas de código requiere calibración conductual: alinear la confianza interna con la corrección a nivel de instancia, en lugar de depender únicamente de métricas distribucionales.