🤖 AI

Protocode: Prototype-Driven Interpretability for Code Generation in LLMs

Este artículo propone un enfoque basado en prototipos que utiliza el análisis basado en AST para muestrear automáticamente demostraciones de aprendizaje en contexto de alta calidad, mejorando así simultáneamente la interpretabilidad y el rendimiento de los grandes modelos de lenguaje en tareas de generación de código.

Autores originales: Krishna Vamshi Bodla, Haizhao Yang

Publicado 2026-01-22

📖 5 min de lectura🧠 Análisis profundo

CC0 1.0

Autores originales: Krishna Vamshi Bodla, Haizhao Yang

Artículo original dedicado al dominio público bajo CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot muy inteligente, pero ligeramente confundido, cómo escribir código de computadora. No puedes simplemente darle un libro de texto; en su lugar, le muestras algunos ejemplos de buen código primero. Esto se llama Aprendizaje en Contexto (ICL, por sus siglas en inglés). El robot observa tus ejemplos e intenta copiar el estilo y la lógica para resolver un nuevo problema.

El problema es: ¿Qué ejemplos deberías mostrarle al robot?

Si le muestras ejemplos malos, se confunde y escribe código con errores. Si le muestras ejemplos perfectos, brilla. Pero encontrar los ejemplos "perfectos" es difícil. La mayoría de las personas simplemente eligen ejemplos que se ven similares en la superficie, pero eso no siempre funciona.

Este artículo presenta un nuevo método llamado Protocode para resolver esto. Piensa en esto como un "Selector Inteligente de Ejemplos" que utiliza un mapa especial para encontrar los mejores ejemplos.

Así es como funciona, desglosado en conceptos simples:

1. El Mapa "Manifold" (Encontrando la forma de los datos)

Imagina que todos los diferentes problemas de programación (como "ordenar una lista" o "calcular una raíz cuadrada") son puntos flotando en una gigantesca habitación multidimensional.

La forma antigua: La gente suele elegir el punto más cercano al que estás intentando resolver. Pero a veces, el punto más cercano es un ejemplo "trampa" que se ve similar pero tiene una lógica totalmente distinta.
El camino de Protocode: Los autores se dieron cuenta de que estos puntos no están simplemente esparcidos al azar; forman formas invisibles y curvas (como un papel arrugado) llamadas manifolds (variedades).
La analogía: Imagina que los datos son una cadena montañosa. El método antiguo simplemente elige el pico más cercano. Protocode observa la forma de la cadena montañosa en sí misma. Encuentra los "prototipos": los ejemplos más representativos y perfectos que se encuentran justo en el corazón de un valle o un pico específico. Utiliza una técnica llamada Aprendizaje de Manifold Lineal por Partes (Piecewise-Linear Manifold Learning) para trazar estas formas con precisión, asegurando que el ejemplo que elija sea verdaderamente representativo de ese tipo de problema, y no solo un vecino aleatorio.

2. El Ancla "Proxy" (El imán)

Una vez trazado el mapa, el sistema necesita elegir el mejor ejemplo para cada categoría (como "bucles de Python" o "clases de Java").

La analogía: Imagina que tienes un imán (llamado Proxy) para cada tipo de código. Dejas caer todos tus ejemplos de entrenamiento en la habitación. El imán atrae los ejemplos que le pertenecen.
La magia: El sistema no solo elige el más cercano; aprende a mover los imanes para que atraigan los mejores ejemplos y alejen los malos. Esto se logra mediante un truco matemático llamado Pérdida de Ancla-Proxy (Proxy-Anchor Loss). Esto asegura que el ejemplo elegido sea un "campeón" para su grupo, convirtiéndolo en el maestro más confiable para el robot.

3. La Visión de "Rayos X" (Análisis de AST)

Una vez que el robot escribe código usando estos ejemplos inteligentes, ¿cómo sabemos por qué escribió lo que escribió?

El problema: Usualmente, el código de la IA es una "caja negra". Vemos la entrada y la salida, pero no sabemos qué parte del ejemplo influyó para que la IA escribiera una línea específica.
La solución: Los autores utilizan una herramienta llamada Árbol de Sintaxis Abstracta (AST). Piensa en el código no como una oración, sino como un árbol genealógico.
- Las "hojas" son las palabras individuales (tokens).
- Las "ramas" son las estructuras (como sentencias if, bucles o funciones).
La analogía: Los autores pasan una visión de rayos X sobre el código. Rastrean la "influencia" de vuelta desde la salida del robot hasta el ejemplo específico que se le mostró.
- Resultado: Pueden decir: "El robot utilizó esta estructura de for-loop específica porque fue fuertemente influenciado por el Ejemplo A, pero utilizó este bloque de manejo de errores porque fue influenciado por el Ejemplo B".
- Esto hace que el código sea interpretable. Puedes ver exactamente qué partes del código son "seguras" y cuáles podrían ser riesgosas porque fueron copiadas de un ejemplo más débil.

¿Qué encontraron?

Los investigadores probaron esto en varios modelos de IA diferentes (como Qwen, Llama y StarCoder) utilizando una prueba de código estándar llamada MBPP.

Mejores resultados: Cuando utilizaron su "Selector Inteligente de Ejemplos" (Protocode), los robots escribieron mejor código. Pasaron más pruebas (específicamente, la métrica pass@10, que verifica si el código correcto aparece entre las 10 mejores suposiciones) en comparación con el uso de ejemplos aleatorios o simplemente eligiendo los "más cercanos".
El peligro de los malos ejemplos: Encontraron que si elegías los ejemplos equivocados (demostraciones de ICL mal elegidas), el robot en realidad funcionaba peor que si no le hubieras dado ningún ejemplo. Esto demuestra que la calidad importa más que la cantidad.
Comprendiendo el código: El análisis de "rayos X" mostró que el robot tenía más confianza en las partes estructuradas del código (como estructuras de datos y funciones), pero a veces tenía dificultades con el manejo de errores complejos, independientemente de los ejemplos utilizados.

La conclusión final

Este artículo trata sobre enseñar a la IA a ser un mejor estudiante dándole mejores ejemplos de tarea.

No elijas solo ejemplos similares; elige los que realmente representan la "forma" del problema.
Usa las matemáticas para encontrar los ejemplos "campeones" para cada categoría.
Mira bajo el capó para ver exactamente qué ejemplos influyeron en las decisiones de la IA, haciendo que el código sea más seguro y fácil de entender.

Al hacer esto, los desarrolladores pueden confiar más en la IA, sabiendo exactamente por qué generó una pieza específica de código y asegurándose de que no solo copió un mal hábito de un ejemplo deficiente.

Resumen Técnico: Interpretabilidad Basada en Prototipos para la Generación de Código en LLMs

Planteamiento del Problema

Si bien los Modelos de Lenguaje Extensos (LLMs) han avanzado significativamente en las capacidades de generación de código, su dependencia de soluciones automatizadas introduce riesgos de código subóptimo o inseguro. Existe una brecha crítica en la interpretabilidad de estos modelos específicamente para tareas de generación de código. Los métodos de interpretabilidad existentes suelen ser genéricos o computacionalmente prohibitivos cuando se aplican al código. Por ejemplo, métodos como ASTrust requieren almacenar distribuciones de probabilidad sobre todo el vocabulario en cada paso de generación, lo que conduce a una baja escalabilidad con la longitud de la salida. Por el contrario, métodos como Code-Q requieren un muestreo repetido, lo que introduce una carga significativa de inferencia. Además, se sabe que la selección de demostraciones de Aprendizaje en Contexto (ICL) impacta críticamente el rendimiento del modelo; los ejemplos mal elegidos pueden degradar el rendimiento por debajo del modelo base, aunque las estrategias de muestreo eficientes y fundamentadas siguen siendo poco exploradas.

Metodología

Los autores proponen Protocode, un marco que unifica el muestreo de ICL basado en prototipos con la atribución fundamentada en Árboles de Sintaxis Abstracta (AST) para mejorar tanto el rendimiento del modelo como la interpretabilidad. La metodología consta de dos etapas principales:

1. Muestreo de Prototipos mediante Aprendizaje Conjunto de Variedades y Métricas

En lugar de utilizar resúmenes estadísticos (por ejemplo, medias de clase) que no logran capturar la geometría intrínseca de los datos, los autores adoptan una perspectiva de variedades (manifolds). Asumen que las representaciones de alta dimensión yacen en variedades de baja dimensión.

Construcción de la Variedad: El método emplea el aprendizaje de variedades lineales por partes. Descompone variedades no lineales en regiones localmente lineales mediante la construcción de subvariedades lineales de $m$ dimensiones alrededor de puntos de anclaje. Esto se logra añadiendo iterativamente vecinos más cercanos y verificando la calidad de la reconstrucción mediante el Análisis de Componentes Principales (PCA).
Aprendizaje de Métricas: Para asegurar que los prototipos sean discriminativos entre clases, los autores integran la pérdida de Proxy-Anchor. Esto introduce vectores de proxy a nivel de clase aprendibles para optimizar la cohesión intra-clase y la separación inter-clase.
Optimización Conjunta: Una red neuronal $h_\theta$ es entrenada para optimizar conjuntamente el objetivo de aprendizaje de variedades (preservando la estructura geométrica local) y la pérdida de Proxy-Anchor (forzando la separación de clases). Tras el entrenamiento, los vectores de proxy actualizados por momentum se mapean a sus instancias de entrenamiento más cercanas para servir como las demostraciones finales de ICL (prototipos).

2. Atribución de Gradiente de Prototipo para la Interpretabilidad Fundamentada en AST

Para abordar la sobrecarga de memoria de los métodos basados en la probabilidad de tokens, los autores proponen un mecanismo de atribución que evita almacenar distribuciones completas del vocabulario.

Mecanismo de Atribución: La influencia se estima utilizando el gradiente de la similitud entre los embeddings de los prototipos muestreados y los embeddings de los tokens del código generado. Específicamente, se computa el producto punto entre el vector medio del prototipo y la representación latente de un token, y su gradiente con respecto al embedding del token sirve como una puntuación de confianza.
Análisis AST: Estas puntuaciones de confianza a nivel de token se propagan a través del Árbol de Sintaxis Abstracta (AST). El proceso alinea los tokens con los nodos terminales del AST, que luego se agregan jerárquicamente en nodos no terminales y finalmente se agrupan en ocho Categorías Sintácticas interpretables por humanos (por ejemplo, Decisiones, Estructuras de Datos, Iteraciones, Manejo de Excepciones). Esto permite una interpretabilidad tanto local (a nivel de nodo) como global (a nivel de categoría).

Contribuciones Clave

Marco Unificado: El artículo afirma ser el primero en unificar el muestreo de ICL basado en prototipos con la atribución fundamentada en AST para la interpretabilidad de código.
Estrategia de Muestreo Eficiente: El enfoque propuesto de aprendizaje conjunto de variedades y métricas muestrea demostraciones de ICL que son tanto geométricamente fieles a la estructura local de los datos como semánticamente discriminativas, evitando los costos computacionales del muestreo repetido o el almacenamiento de la probabilidad completa del vocabulario.
Atribución Eficiente en Memoria: Al utilizar la atribución de gradiente de prototipo en lugar de las probabilidades de los tokens, el método permite un mapeo de confianza sensible a la sintaxis sin la sobrecarga de memoria que escala pobremente con la longitud de la salida.
Explicaciones Fundamentadas en la Sintaxis: El marco proporciona un sistema de explicación post-hoc que segmenta el código generado en regiones sintácticas interpretables, identificando qué partes del código están más influenciadas por las demostraciones seleccionadas.

Resultados Experimentales

Los autores evaluaron su método en los conjuntos de prueba MBPP y MBPP+ utilizando seis LLMs, incluyendo modelos genéricos (Qwen3, Llama3.2, Falcon3) y modelos especializados en código (Starcoder, Qwen2.5-Coder, CodeLlama).

Rendimiento: El método de muestreo basado en prototipos superó consistentemente al modelo base (sin ICL) y a otras estrategias de muestreo (basadas en diversidad, basadas en similitud y MBPP few-shot) en la mayoría de los modelos en la métrica pass@10. Por ejemplo, en el conjunto de datos MBPP, el método propuesto logró un pass@10 de 0.122 para CodeLlama-7B, comparado con 0.116 para el modelo base.
Sensibilidad a las Demostraciones: Los resultados destacaron que los modelos de generación de código son altamente sensibles a la calidad de las demostraciones de ICL. Las demostraciones mal elegidas (por ejemplo, aquellas de muestreo basado en similitud o diversidad en ciertos contextos) impactaron negativamente el rendimiento, resultando a veces en resultados inferiores al modelo base.
Insights del Análisis AST: El análisis reveló patrones de fiabilidad distintos a través de las categorías sintácticas. Los modelos generalmente mostraron una alta confianza en Scope (Ámbito), Data Structures (Estructuras de Datos) y Functions (Funciones). Por el contrario, Exception Handling (Manejo de Excepciones) recibió consistentemente las puntuaciones de confianza más bajas en todos los modelos, sugiriendo una limitación sistémica en la generación de lógica robusta de manejo de errores.

Significancia y Reivindicaciones

El artículo enfatiza que las estrategias de muestreo eficientes para ICL no son meramente opcionales, sino críticas para el rendimiento del modelo. Los autores afirman que su enfoque demuestra que los prototipos de alta calidad y geométricamente fieles hacen más que solo mejorar la precisión; también mejoran la interpretabilidad del proceso de generación. Al vincular regiones sintácticas específicas del código con los prototipos muestreados, los desarrolladores pueden comprender mejor el "porqué" detrás de la salida de un modelo.

Los autores mantienen la modestia respecto al alcance de su trabajo, señalando que los prototipos fueron muestreados exclusivamente del conjunto de datos Magicoder-OSS-Instruct. Sugieren que, si bien su método sirve como una métrica global para clasificar la calidad de los conjuntos de datos respecto a la eficacia de los prototipos, el trabajo futuro podría extender esto a conjuntos de datos más amplios. Además, proponen que el marco podría extenderse hacia una "interpretabilidad pre-hoc" por diseño, utilizando potencialmente el direccionamiento de prototipos (prototype steering) para influir en el comportamiento del modelo, aunque esto sigue siendo una dirección futura más que una implementación actual.