Resumen Técnico: RISCOSET para la Cuantificación de la Incertidumbre en la Generación de Código Basada en LLM

Declaración del Problema

Los Modelos de Lenguaje Grande (LLM) se utilizan cada vez más para la generación de código, pero sufren de alucinaciones y de la generación de salidas tóxicas o sesgadas, lo que limita su despliegue en aplicaciones de alto riesgo. Aunque la Predicción Conformal (CP) ofrece un marco para la cuantificación de la incertidumbre con garantías libres de distribución, adaptarla a tareas de generación estructurada como el código es un desafío.

Los enfoques existentes, como los conjuntos de predicción PAC (Probablemente Aproximadamente Correctos) para código (Khakhar et al., 2023), enfrentan dos limitaciones críticas:

1. Restricciones de Monotonía: Se basan en una fuerte suposición de monotonía con respecto al riesgo y al tamaño del conjunto de predicción. Esto restringe el espacio de programas parciales admisibles, lo que a menudo conduce a soluciones subóptimas que eliminan demasiados nodos de código.
2. Suposición de Etiqueta Única: Están diseñados para clasificación de etiqueta única. Sin embargo, la generación de código es inherentemente un problema de múltiples etiquetas, donde múltiples programas sintácticamente diferentes pueden poseer semánticas idénticas y correctas. Los métodos existentes no logran acomodar esta multiplicidad, limitando severamente el espacio de candidatos.

Metodología: RISCOSET

Los autores proponen RISCOSET, un método que construye conjuntos de predicción con control de riesgo para la generación de código basada en LLM, reformulando el problema como una tarea de clasificación de múltiples etiquetas y aprovechando el marco Learn Then Test (LTT) (Angelopoulos et al., 2025).

Componentes Principales

1. Reencuadre de Múltiples Etiquetas y Riesgo Estructurado:
   En lugar de imponer monotonía, RISCOSET define una función de riesgo estructurada basada en la corrección semántica. Para una entrada dada, el objetivo es producir un conjunto de predicción (representado como un programa parcial o un subárbol de AST) que contenga al menos un programa correcto de un conjunto de etiquetas mejorado $\tilde{Y}$. El riesgo empírico se define como la fracción de instancias de calibración donde el conjunto de predicción falla al intersectar con el conjunto de programas correctos.

2. Optimización para Programas Parciales:
   Para generar el conjunto de predicción, el método resuelve un problema de optimización para podar nodos del Árbol de Sintaxis Abstrata (AST) del código generado.

   • Objetivo: Retener tantos nodos como sea posible mientras se asegura que la incertidumbre total (probabilidad negativa logarítmica) del programa parcial restante no exceda un umbral $\lambda$.
   • Restricciones: La solución debe satisfacer la conectividad del árbol (si se elimina un padre, los hijos deben eliminarse) y un límite en el número de eliminaciones de subárboles permitidas ($t_{max}$). Crucialmente, esta optimización elimina la restricción estricta de monotonía encontrada en los métodos PAC, permitiendo un espacio de etiquetas factible más amplio.

3. Prueba de Múltiples Hipótesis (LTT):
   RISCOSET emplea el marco LTT para seleccionar el parámetro óptimo $\hat{\lambda}$ que controla el riesgo.

   • Trata la selección de $\lambda$ como un problema de prueba de múltiples hipótesis.
   • Para un conjunto de valores candidatos de $\lambda$, calcula valores $p$ basados en el riesgo estructurado empírico.
   • Utilizando un algoritmo de control de la Tasa de Error Familiar (FWER), identifica un conjunto válido de parámetros $\Lambda_{valid}$ que garantiza que el riesgo permanezca por debajo de una tolerancia especificada por el usuario $\alpha$ con alta confianza ($1-\delta$).

4. Estrategia de Ejecución Selectiva:
   Dado que la generación de código es de múltiples etiquetas, el proceso de calibración requiere muestrear múltiples programas candidatos y verificarlos mediante la ejecución de casos de prueba, lo cual es computacionalmente costoso. Para mitigar esto, RISCOSET introduce una estrategia de ejecución selectiva:

   • Utiliza puntuaciones de incertidumbre (por ejemplo, perplejidad) para decidir qué programas muestreados requieren ejecución de pruebas.
   • Los programas con baja incertidumbre se aceptan como correctos sin ejecución, mientras que los programas de alta incertidumbre se verifican.
   • Esta estrategia utiliza muestreo de importancia y la desigualdad de Hoeffding para estimar un límite superior de error, asegurando que la tasa de error de etiquetas permanezca dentro de un límite controlado $\epsilon$ mientras reduce significativamente los costos computacionales.

Contribuciones Clave

1. Marco RISCOSET: La primera aplicación del marco LTT a la generación de código estructurada, reformulando la construcción del conjunto de predicción como un problema de múltiples etiquetas con restricciones más débiles que los enfoques basados en PAC.
2. Optimización de Riesgo Estructurado: Una formulación de optimización novedosa para generar programas parciales (subárboles de AST) que maximiza la información retenida mientras satisface las garantías de control de riesgo, libre de suposiciones restrictivas de monotonía.
3. Calibración Eficiente: Una estrategia de ejecución selectiva que equilibra la compensación entre el control de riesgo y el costo computacional de la verificación de etiquetas, respaldada por límites de error no asintóticos.
4. Validación Empírica: Experimentos exhaustivos que demuestran la efectividad del método en tres LLM (Deepseek-Coder, Qwen2.5-Coder, Llama3.1) y tres conjuntos de datos (HumanEval, MBPP, APPS).

Resultados Experimentales

Los autores evaluaron RISCOSET frente a líneas base de última generación, incluido el enfoque de conjunto de predicción PAC y una variante codiciosa.

• Reducción de Eliminación de Nodos: RISCOSET reduce significativamente el número de nodos AST eliminados en comparación con las líneas base, manteniendo el mismo nivel de control de riesgo. Por ejemplo, en el conjunto de datos MBPP con $\alpha=0.15$, el método redujo la eliminación de código en un 24.5% en comparación con el mejor competidor.
• Garantías de Cobertura: Los conjuntos de predicción construidos lograron consistentemente tasas de cobertura que superaban el límite objetivo ($1-\alpha$), validando las garantías teóricas de control de riesgo.
• Escalabilidad del Modelo: El método funcionó bien tanto en modelos especializados en código (Qwen2.5-Coder) como en modelos de propósito general (Llama3.1), mostrando que el rendimiento mejora con modelos generativos más potentes.
• Eficiencia de Ejecución Selectiva: La estrategia de ejecución selectiva redujo con éxito la proporción de programas que requieren ejecución de casos de prueba (por ejemplo, evitando la ejecución para ~30% de los programas con una tasa de error de etiquetas de $\epsilon=0.1$) mientras mantenía la cobertura por encima del umbral objetivo.

Significado y Afirmaciones

El artículo afirma ser el primer trabajo que introduce el marco LTT en tareas de generación de código estructurada. Su significado principal radica en abordar las limitaciones de los métodos existentes basados en PAC mediante:

• Eliminar la necesidad de fuertes suposiciones de monotonía, expandiendo así el espacio de programas candidatos y reduciendo la eliminación innecesaria de código.
• Acomodar naturalmente la naturaleza de múltiples etiquetas de la generación de código (múltiples soluciones válidas para una sola tarea).
• Proporcionar garantías estadísticas rigurosas para la corrección de los conjuntos de código generados sin depender de las suposiciones de independencia que fallan en dominios estructurados como el código.

Los autores concluyen que, aunque su enfoque está en la generación de código, el método propuesto es adaptable a otros problemas de predicción estructurada donde la cuantificación de la incertidumbre es crítica. Reconocen la sobrecarga computacional de la fase de calibración, pero enfatizan que la estrategia de ejecución selectiva mitiga efectivamente este costo.