Resumen Técnico: EYEMULATOR

Planteamiento del Problema

Los actuales Modelos de Lenguaje de Código (CodeLLMs) dependen de la "atención de máquina", un mecanismo estadístico que aprende la importancia de los tokens mediante correlaciones de datos y trata el contexto de manera uniforme basándose en la coocurrencia. En contraste, los desarrolladores humanos emplean estrategias cognitivas distintas caracterizadas por una atención selectiva; se fijan en elementos semánticamente críticos (por ejemplo, flujo de control, firmas de métodos) mientras pasan por alto la estructura sintáctica redundante (boilerplate). Los métodos de adaptación existentes, como el ajuste de instrucciones (instruction tuning) o la Generación Aumentada por Recuperación (RAG), mejoran la adherencia a la intención del usuario o proporcionan contexto externo, pero no logran alterar fundamentalmente el mecanismo de atención subyacente del modelo. En consecuencia, los modelos de vanguardia suelen distribuir la atención de manera uniforme entre la lógica y el boilerplate, perdiendo el enfoque matizado y selectivo que caracteriza la comprensión de programas por parte de un experto.

Metodología

EYEMULATOR es un marco de trabajo agnóstico al modelo diseñado para inyectar prioridades de atención visual humana en el ajuste fino (fine-tuning) de CodeLLMs sin requerir cambios arquitectónicos ni un preentrenamiento costoso desde cero. El enfoque opera en tres etapas:

1. Transformación de Datos y Destilación de Artefactos:
   Utilizando el corpus EyeTrans (registros de mirada de 120 Hz de 27 programadores leyendo/escribiendo Java), el sistema identifica fijaciones (puntos de mirada estables >100ms) y las mapea con los tokens de las hojas del Árbol de Sintaxis Abstracta (AST). A partir de esto, se destilan dos artefactos portátiles:

   • Prioridades de Saliencia Semántica: Un enfoque bayesiano (usando distribuciones Beta) modela la importancia estática de los tipos de tokens (por ejemplo, variables frente a palabras clave) basándose en la densidad de fijación.
   • Modelos de Transición Secuencial: Las estadísticas de bigramas y trigramas capturan el flujo dinámico de la lectura experta (por ejemplo, saltar de la definición de una variable a su uso).

2. Generación de Pseudo-Trayectorias de Escaneo (Pseudo-Scan Paths):
   Para los datos de entrenamiento estándar que carecen de seguimiento ocular, EYEMULATOR sintetiza "pseudo-trayectorias de escaneo". El sistema muestrea una razón de saliencia y asigna cuotas de atención a las clases de tokens basándose en las prioridades destiladas. Estas trayectorias se construyen emparejando de forma codiciosa (greedy) los tokens enmascarados en n-gramas válidos que satisfagan las restricciones de extensión de línea, creando una señal de entrenamiento que imita la selectividad visual humana.

3. Ajuste Fino Informado por la Mirada (Gaze-Informed Fine-Tuning):
   El modelo se ajusta utilizando una función de pérdida compuesta:

   • Ajuste Supervisado con Pesos (SFT): La pérdida de entropía cruzada a nivel de token se repondera. Los pesos combinan un término de importancia base, un término de frecuencia inversa (para aumentar el peso de constructos poco comunes) y la probabilidad de saliencia semántica derivada de las prioridades.
   • Optimización de Preferencia Directa (DPO) a Nivel de Token: El marco define una trayectoria "ganadora" como la pseudo-trayectoria de escaneo generada (alta saliencia) y una trayectoria "perdedora" como el complemento (fondo de baja saliencia). Esta pérdida recompensa explícitamente al modelo por asignar una mayor probabilidad a los tokens semánticamente salientes priorizados por los humanos.

Contribuciones Clave

1. Un Pipeline Portable: Un método para convertir trazas de mirada humana bruta en prioridades reutilizables de saliencia semántica y transición secuencial sobre tokens de código.
2. Objetivo Agnóstico al Modelo: Un objetivo de ajuste fino que incorpora estas prioridades a través de la ponderación de tokens y la alineación de preferencias sin modificar la arquitectura base del CodeLLM.
3. Evaluación Integral: Una evaluación a través de seis backbones diversos (que van desde 1B hasta 3B de parámetros), tres tareas de CodeXGlue (completado, traducción, resumen) y dos regímenes de datos (pocos datos y datos completos).

Resultados

La evaluación demuestra que EYEMULATOR produce ganancias positivas y seguras en cuanto a calidad en las 36 celdas de modelo-tarea-configuración evaluadas:

• Tareas de Preservación de Estructura: Se observaron las mejoras más significativas en las tareas de completado de código y traducción de Java a C#. Por ejemplo, StarCoderBase-1B experimentó una mejora relativa del +34.4% en completado bajo configuraciones de datos completos, y DeepSeek-Coder-1.3B logró una ganancia del +33.4%.
• Resumen: Aunque es más sensible al decodificador y al comportamiento del tokenizador, las tareas de resumen (Java a Inglés) mostraron ganancias positivas consistentes bajo la métrica METEOR tras un ajuste dirigido (por ejemplo, +9.3% para Llama-3.2-1B).
• Robustez: Las ganancias fueron consistentes en diferentes tamaños de modelo y regímenes de datos, y las comprobaciones de robustez basadas en semillas confirmaron la estabilidad.
• Análisis de Componentes: Los estudios de ablación confirmaron que la saliencia semántica y el flujo de transición secuencial son complementarios; eliminar cualquiera de las señales redujo consistentemente el rendimiento. El análisis de modo de sesión indicó que las prioridades derivadas de la lectura fueron particularmente fuertes para la traducción, mientras que las prioridades derivadas de la escritura ayudaron a la completación de código.

Significado y Reivindicaciones

El artículo afirma que EYEMULATOR logra cerrar la brecha entre la atención estadística de la máquina y el enfoque selectivo humano. Al fundamentar el entrenamiento de los CodeLLM en patrones visuales cognitivos, el método permite que los modelos procesen código con una saliencia semántica que refleja la de un desarrollador.

Los autores enfatizan que la importancia de este trabajo reside en su capacidad para mejorar el rendimiento del modelo mediante señales modulares y agnósticas al modelo, en lugar de realizar cambios estructurales. Los resultados sugieren que los CodeLLM compactos se benefician significamente cuando la selectividad humana se destila en prioridades durante el tiempo de entrenamiento. El artículo postula que la atención humana es útil no como un heurístico único, sino como una prioridad estructurada que combina qué inspeccionan los desarrolladores y cómo se mueven a través del código. Este enfoque ofrece una vía para mejorar el anclaje semántico en los CodeLLM sin el costo computacional de entrenar nuevas arquitecturas desde cero.