EyeLayer: Integrating Human Attention Patterns into LLM-Based Code Summarization

1. Planteamiento del Problema

La resumen de código (generación de descripciones en lenguaje natural a partir de código fuente) es una tarea crítica para la comprensión y mantenimiento del software. Aunque los Modelos de Lenguaje Grandes (LLMs) han logrado avances significativos en esta área, existe una brecha importante: los modelos actuales a menudo generan resúmenes que no se alinean con la información en la que realmente se enfocan los humanos durante la comprensión del código.

La pregunta central de la investigación es: ¿Puede la experiencia humana en la comprensión de código, específicamente los patrones de atención visual, guiar y mejorar a los LLMs? Investigaciones previas (como EyeTrans) han integrado señales de mirada en transformadores pequeños, pero no se ha demostrado si estos patrones pueden mejorar LLMs modernos de gran escala con arquitecturas y dinámicas de optimización diversas.

2. Metodología: EyeLayer

Los autores proponen EyeLayer, un módulo de arquitectura ligero diseñado para integrar patrones de mirada humana (eye-tracking) en LLMs sin alterar su arquitectura base ni sus representaciones preentrenadas.

A. Datos y Alineación

• Corpus de Resumen: Se utiliza la subconjunto de Java de CodeXGLUE para la tarea principal de generación.
• Corpus de Seguimiento Ocular: Se utiliza el corpus EyeTrans, que contiene datos de seguimiento ocular de 27 desarrolladores profesionales leyendo código Java.
• Desafío de Alineación: Existe una discrepancia entre el espacio de los nodos del Árbol de Sintaxis Abstracta (AST) donde se registran las fijaciones oculares y el espacio de subtokens (tokens del tokenizador del modelo). Los autores implementan un pipeline de tres etapas para mapear con precisión (>98% de precisión) los nodos AST a los índices de subtokens, permitiendo transferir las señales de atención humana al modelo.

B. Arquitectura del Módulo EyeLayer

El núcleo de la propuesta es el EyeLayer Gaussiano Multimodal, que modela la atención humana como una mezcla de distribuciones Gaussianas.

1. Codificación a Nivel de Código: El modelo genera una representación semántica compacta del código de entrada.
2. Red de Puerta Escasa (Sparse Gating): Una red ligera predice cuántos modos Gaussianos (focos de atención) activar para un fragmento de código específico. Esto permite que el modelo adapte dinámicamente su atención según la complejidad del código (1 a 3 modos).
3. Parametrización de Modos: Cada modo activo predice sus propios parámetros Gaussianos:
   • $\mu_k$ (Centro): Representa la ubicación semántica del foco de atención.
   • $\sigma_k$ (Dispersión): Representa la extensión contextual de la atención.
4. Construcción de la Mezcla: Se genera una distribución de probabilidad de atención suave y diferenciable combinando los modos activos.
5. Redistribución Causal-Consciente:
   • Para modelos decoder-only (como LLaMA, Qwen), es crucial mantener la dependencia causal (izquierda a derecha). EyeLayer no modifica las máscaras de atención, sino que aplica perturbaciones residuales a los estados ocultos.
   • Estas perturbaciones se ponderan según la distribución Gaussiana predicha, reforzando suavemente las representaciones en las regiones donde los humanos suelen fijar la mirada, sin romper la causalidad ni el caché de claves-valor.
   • Se utiliza una transformación de bajo rango (Low-Rank) para evitar el sobreajuste, dado que los datos de seguimiento ocular son escasos.

C. Entrenamiento Conjunto

El sistema se entrena con una estrategia de doble objetivo:

• Pérdida de Generación ($L_{gen}$): La tarea principal de resumir código.
• Pérdida de Alineación ($L_{align}$): Una pérdida auxiliar que fuerza a los modos Gaussianos predichos a coincidir con los patrones de fijación humana (alineación de centroides, coincidencia de dispersión y penalización de uniformidad).
• Se utiliza un horario de entrenamiento entrelazado y el algoritmo PCGrad (Projecting Conflicting Gradients) para resolver conflictos entre los gradientes de las dos tareas.

3. Contribuciones Clave

1. Marco de Priors Cognitivos: Propone un marco para integrar priors probabilísticos derivados de datos cognitivos humanos (seguimiento ocular) en LLMs, cerrando la brecha entre la atención humana y la formación de atención en el modelo.
2. Diseño Multimodal Gaussiano: Diseña un módulo ligero que redistribuye las incrustaciones de código mediante mezclas Gaussianas aprendibles, desacoplando la redistribución guiada por la mirada de los pesos de atención intrínsecos del modelo.
3. Evaluación Sistemática: Demuestra la efectividad del enfoque en cinco modelos de diferentes escalas y arquitecturas (CodeBERT, LLaMA-3.2, Qwen3), abarcando desde modelos codificadores-only hasta decodificadores-only.
4. Reproducibilidad: Publicación del código y los datos para fomentar la investigación futura.

4. Resultados Experimentales

Los experimentos se realizaron en el benchmark CodeXGLUE (Java) comparando modelos con EyeLayer frente a líneas base de Supervised Fine-Tuning (SFT) estándar.

• RQ1 (Efectividad): EyeLayer superó consistentemente a las líneas base en todos los modelos.
  • Mejoras de hasta 13.17% en BLEU-4 (en modelos específicos como Qwen3-1.7B).
  • Mejoras significativas en ROUGE-L, METEOR y BERTScore.
  • Los modelos más pequeños o menos supervisados se beneficiaron más, sugiriendo que las señales cognitivas actúan como un inductor fuerte cuando la capacidad del modelo es limitada.
• RQ2 (Posición de Inserción): El rendimiento fue óptimo al inyectar EyeLayer en capas intermedias tardías (ej. capa 13 en un modelo de 16 capas). Esto coincide con la etapa donde las representaciones semánticas están formadas pero aún son flexibles.
• RQ3 (Generalización): El enfoque funcionó bien en arquitecturas encoder-only (CodeBERT), demostrando que los patrones de atención humana son invariantes a la arquitectura del modelo.
• RQ4 (Diseño Multimodal): La versión multimodal (mezcla de Gaussianas) superó significativamente a una versión simplificada de modo único. Esto confirma que la atención humana durante la lectura de código no es un foco único, sino una composición de múltiples regiones de interés (firmas, flujo de control, detalles de implementación).

5. Significado e Implicaciones

• Más allá de los datos masivos: El trabajo demuestra que incluso con un conjunto de datos de seguimiento ocular pequeño y costoso (625 muestras), es posible extraer señales cognitivas transferibles que mejoran el rendimiento de modelos de miles de millones de parámetros.
• IA Centrada en el Humano: EyeLayer alinea el comportamiento de los modelos de IA con los procesos cognitivos reales de los desarrolladores, lo que podría llevar a sistemas de IA más interpretables y confiables en flujos de trabajo de ingeniería de software.
• Eficiencia: Al ser un módulo ligero que no requiere reentrenar el modelo base desde cero ni alterar su arquitectura fundamental, ofrece una ruta práctica para mejorar herramientas de inteligencia de código existentes.

En conclusión, EyeLayer valida que los patrones de atención humana codifican señales complementarias que mejoran el enfoque semántico de los LLMs, ofreciendo un nuevo paradigma para la generación de resúmenes de código más precisos y alineados con la intuición humana.