On-the-Fly Input Adaptation for Reliable Code Intelligence

Resumen Técnico: Adaptación de Entrada en Tiempo de Ejecución para Inteligencia de Código Confiable

Enunciado del Problema
Los Modelos de Lenguaje de Código (CLM) son fundamentales en tareas de ingeniería de software como la generación de código, la predicción de defectos y la detección de vulnerabilidades. Sin embargo, a pesar de su alto rendimiento en benchmarks, los CLM producen frecuentemente predicciones erróneas en aplicaciones del mundo real, incluso cuando las entradas son sintácticamente válidas. Esta fragilidad se deriva de una dependencia en correlaciones estadísticas superficiales en lugar de una comprensión funcional; cambios menores que preservan la semántica (por ejemplo, el renombrado de variables o la reestructuración del flujo de control) pueden conducir a predicciones inconsistentes.

Las soluciones existentes para mejorar la fiabilidad —reentrenamiento, modificaciones arquitectónicas o ingeniería de prompts— adolecen de inconvenientes significativos. El reentrenamiento exige grandes volúmenes de datos etiquetados, altos costos computacionales y despliegues frecuentes, y a menudo falla al generalizar a través de tareas en evolución. Los cambios arquitectónicos son específicos del modelo e incompatibles con los puntos de control (checkpoints) existentes. El ajuste de prompts, aunque ligero, es inestable y carece de generalización. En consecuencia, existe la necesidad de un enfoque escalable y eficiente en recursos que mejore la fiabilidad sin alterar los parámetros del modelo ni requerir reentrenamiento.

Metodología: Adaptación de Entrada en Tiempo de Ejecución
El artículo propone un marco que adapta las entradas en tiempo de inferencia para alinearlas mejor con los límites de decisión aprendidos por el modelo. Esta estrategia "en tiempo de ejecución" opera en dos fases principales:

1. Validación de Entrada (P1): Esta fase estima la corrección de la salida de un modelo para determinar si es necesaria la adaptación. Utiliza mecanismos específicos de la arquitectura para generar una puntuación de validez ($V$):

   • Para Modelos de Clasificación: El marco emplea validación basada en la varianza utilizando submodelos perturbados para medir la incertidumbre epistémica y métricas de distancia de representación para señalar entradas que se desvían de los prototipos de clase conocidos.
   • Para Modelos Generativos: La validación se centra en la inestabilidad de la decodificación, utilizando señales como caídas en la verosimilitud logarítmica, dispersión a nivel de token y consistencia en la variación del prompt para detectar deriva semántica o baja ejecutabilidad antes de completar la decodificación.
   • Si la puntuación de validez $V$ supera un umbral dependiente de la tarea $T$, se conserva la predicción original. De lo contrario, la entrada procede a la adaptación.

2. Adaptación de Entrada (P2): Las entradas señaladas experimentan transformaciones dirigidas que preservan la semántica para alinearlas con los sesgos inductivos del modelo. El marco incluye cuatro módulos específicos:

   • S1 (Transformaciones en el Espacio de Entrada): Aplica modificaciones superficiales como el renombrado de variables, la reestructuración del flujo de control, la simplificación del código y la reformulación en lenguaje natural. Estas buscan reducir la varianza espuria y desambiguar la intención sin alterar el significado funcional.
   • S2 (Transformaciones en el Espacio Latente): Ajusta las incrustaciones de entrada antes de la decodificación utilizando el ascenso del gradiente de confianza. Esto desplaza las entradas desde regiones de baja densidad e inestables del espacio latente hacia regiones asociadas con una mayor confianza en la predicción, acotadas para preservar la semántica.
   • S3 (Guía Latente para Difusión): Para generadores basados en difusión, este módulo condiciona la trayectoria de muestreo utilizando la señal de fiabilidad $V$, guiando al modelo lejos de completaciones inestables mientras mantiene la diversidad.
   • S4 (Decodificación Difusiva Autoregresiva): Para modelos autoregresivos, esto trata la decodificación como un proceso de eliminación de ruido, permitiendo correcciones a mitad de secuencia basadas en señales de confianza internas para prevenir cascadas de errores.

Para seleccionar la entrada transformada óptima, el marco emplea estrategias de búsqueda guiada (por ejemplo, búsqueda evolutiva o decodificación restringida) donde la puntuación de validez $V$ sirve como función de aptitud.

Contribuciones Clave
El artículo describe cinco contribuciones principales:

• Marco de Validación Multinivel: Un mecanismo unificado que combina métricas complementarias para identificar entradas propensas a errores tanto en modelos de clasificación como generativos.
• Adaptación de Entrada que Preserva la Semántica: Un conjunto de técnicas de transformación en el espacio de entrada y en el espacio latente diseñadas específicamente para código y prompts en lenguaje natural.
• Búsqueda Adaptativa Guiada por Validación: Un procedimiento que utiliza la puntuación de validación para explorar transformaciones candidatas y seleccionar la representación más fiable dentro de un presupuesto computacional.
• Protocolo de Evaluación Agnóstico al Modelo: Un marco para evaluar las mejoras en la fiabilidad a través de tareas y arquitecturas heterogéneas.
• Despliegue Escalable: Una alternativa eficiente en recursos al reentrenamiento que refina las entradas dinámicamente en tiempo de inferencia.

Resultados Preliminares
Los autores realizaron experimentos preliminares para evaluar la eficacia de las métricas de incertidumbre existentes y sus estrategias de adaptación propuestas:

• Limitaciones de las Métricas Existentes: La evaluación de 13 métricas de incertidumbre para clasificación y 16 para generación en modelos como DeepSeek-Coder-7B y CodeLlama-7B reveló un poder discriminatorio limitado. Las puntuaciones AUC oscilaron entre 0.50 y 0.66, a menudo cercanas a la adivinanza aleatoria, lo que indica que las métricas estándar son insuficientes para la abstención fiable en tareas de código.
• Efectividad de la Adaptación: Al aplicar las estrategias de adaptación propuestas (S1 y S2) a CodeBERT y GraphCodeBERT en una tarea de detección de vulnerabilidades, se observaron ganancias significativas en el rendimiento. Las transformaciones en el espacio latente lograron mejoras de hasta un 13.4% para CodeBERT y un 5.3% para GraphCodeBERT sobre los modelos base.
• Tiempo de Ejecución y Semántica: El marco mantiene la integridad semántica, confirmado por diferencias (diffs) que preservan el comportamiento. En términos de sobrecarga, las transformaciones en el espacio de entrada incurrieron en 49.92s–59.4s por entrada, mientras que las transformaciones latentes son significativamente más rápidas (2–3s), lo que hace que estas últimas sean adecuadas para sistemas en tiempo real.

Significado y Perspectiva Futura
El artículo postula que adaptar dinámicamente las entradas en tiempo de inferencia ofrece un camino escalable y generalizable para mejorar la fiabilidad de los CLM sin la sobrecarga operativa del reentrenamiento. El trabajo se posiciona como un paso hacia una "inteligencia de código consciente de la incertidumbre".

Los autores describen una hoja de ruta para el trabajo futuro, que incluye la difusión de hallazgos sobre las limitaciones de las métricas de incertidumbre actuales, la implementación completa del pipeline de adaptación y la expansión del marco a tareas como la reparación de errores y la inferencia de tipos. Los objetivos a largo plazo incluyen integrar el sistema en entornos de inferencia de caja negra (mediante APIs), incrustarlo en agentes de codificación en tiempo real (plugins de IDE, revisores de PR) y lanzar un kit de herramientas de código abierto para apoyar estrategias de adaptación de tipo plug-and-play. La visión última es desplazar el enfoque de los modelos desplegados desde salidas estáticas hacia pipelines de procesamiento de entrada adaptativos que mejoren la robustez en entornos de ingeniería de software del mundo real.