💻 computer science

Predicting Human Visual Attention on Words in Source Code

Este artículo introduce un modelo computacional novedoso que supera significativamente a los modelos de referencia existentes y a los sistemas avanzados de IA al predecir la atención visual humana en el código fuente mediante la utilización de una función de pérdida especializada para alinear la atención interna de la red neuronal con datos empíricos de seguimiento ocular en los lenguajes de programación Java y C.

Autores originales: Chia-Yi Su, Collin McMillan

Publicado 2026-07-17

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Chia-Yi Su, Collin McMillan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de entender cómo funciona el cerebro humano mientras lee un libro. No puedes simplemente preguntarle: "¿En qué estás pensando ahora mismo?", porque es posible que no lo sepa o que mienta. Por eso, los científicos utilizan una cámara especial para observar sus ojos. Esto se llama eye-tracking (seguimiento ocular). Es como tener un pequeño foco que sigue hacia dónde mira una persona, mostrándonos exactamente en qué palabras se detiene, cuáles se salta y cuánto tiempo hace una pausa. En el mundo de la informática, esto es algo muy importante porque los ingenieros de software pasan sus vidas mirando fijamente el código fuente: las instrucciones basadas en texto que le dicen a las computadoras qué hacer. Pero el código no es solo una historia; es un rompecabezas. Los ingenieros no lo leen como una novela; saltan de un lado a otro, releyendo líneas y buscando pistas. Comprender hacia dónde miran nos ayuda a construir mejores herramientas, diseñar pantallas más claras e incluso enseñar a las computadoras a pensar más como los humanos.

Ahora, aquí está la parte difícil: las computadoras suelen ser muy malas adivinando hacia dónde mira un humano. Podrían pensar que una palabra larga y complicada es la más importante, mientras que un ingeniero humano sabe que la palabra corta y aburrida que está al lado es en realidad la clave de todo el programa. Este artículo trata sobre enseñar a una computadora a dejar de adivinar y empezar a "ver" como un programador humano. Los investigadores construyeron un tipo especial de cerebro de computadora (un modelo) que aprendió observando a humanos reales leer código. No se limitaron a decirle a la computadora: "Aquí está el código, adivina la siguiente palabra". En su lugar, le dieron una hoja de trucos secreta: un mapa de dónde aterrizaron realmente los ojos humanos. Le enseñaron a la computadora a comparar su propia "mirada" interna con la mirada real del humano, ajustando su pensamiento hasta que ambos coincidieran.

El descubrimiento principal es que este nuevo modelo de computadora es sorprendentemente bueno imitando la atención humana. Cuando los investigadores lo probaron contra tres grupos diferentes de programadores (algunos leyendo código Java, otros leyendo código C), las predicciones de la computadora estuvieron mucho más cerca de lo que los humanos hicieron realmente que cualquier modelo de computadora anterior. De hecho, en algunas pruebas, la computadora fue un 64% e incluso un 467% mejor que los métodos estándar anteriores al adivinar hacia dónde miraría un humano. No solo acertó los números; aprendió el patrón del pensamiento humano.

Pero los investigadores no se detuvieron ahí. Querían ver si esta atención "similar a la humana" podía ayudar a la computadora a realizar un trabajo más difícil: predecir la secuencia exacta de movimientos oculares, conocida como scanpath (trayectoria de escaneo). Imagina intentar predecir la ruta exacta que tomará un excursionista a través de un bosque, paso a paso. La computadora, entrenada con datos oculares humanos, pudo predecir estas rutas mejor que otros modelos de IA famosos (como GPT-5 y Claude) y mejor que el programa de computadora más avanzado anterior en la tarea de lectura. Aunque también mostró mejoras en la tarea de escritura, los investigadores señalaron que estas ganancias específicas no fueron estadísticamente significativas en comparación con el programa de computadora anterior más avanzado, aunque aun así superaron a los modelos comerciales. Esto sugiere que cuando enseñamos a las computadoras a prestar atención de la misma manera que lo hacemos los humanos, no solo se vuelven mejores leyendo; empiezan a comprender el proceso del pensamiento mismo.

Sin embargo, los autores tienen cuidado de no decir que han resuelto el misterio de la mente humana. Admiten que su modelo es un "estimador" de lo que un grupo de personas suele hacer, no una copia perfecta del cerebro de una sola persona. También tiene límites; funciona mejor con fragmentos de código pequeños y podría confundirse si el código es demasiado grande para caber en su memoria a la vez. Pero los resultados son un fuerte indicio de que, al observar cómo se mueven nuestros ojos, podemos enseñar a las máquinas a ver el mundo de una manera un poco más parecida a la nuestra.

Resumen Técnico: Predicción de la atención visual humana en palabras de código fuente

Planteamiento del problema
Comprender la atención visual humana durante las tareas de ingeniería de software es crítico para optimizar el diseño de interfaces de usuario, mejorar las herramientas de ingeniería de software y modelar los procesos cognitivos humanos. Aunque se ha utilizado el seguimiento ocular (eye-tracking) para estudiar cómo los programadores leen el código fuente, predecir esta atención computacionalmente sigue siendo un desafío. Los enfoques existentes se dividen en dos categorías: modelos de visión artificial general, que tratan la atención como coordenadas espaciales e ignoran la información semántica del código; y modelos de lectura de texto, que asumen patrones de escaneo ocular no aplicables a la naturaleza compleja y con frecuentes regresiones de la lectura de código. Además, aunque los Modelos de Lenguaje de Gran Escala (LLMs) exhiben mecanismos de atención, no se ha establecido si su atención interna se alinea con la atención visual humana durante la lectura de código orientada a tareas específicas. El vacío que este artículo aborda es la falta de un modelo computacional que prediga la atención visual fina (palabras específicas en el código fuente) aprovechando los datos de seguimiento ocular para alinear la atención de la máquina con los patrones cognitivos humanos.

Metodología
Los autores proponen un modelo computacional basado en una arquitectura Transformer preentrenada (específicamente el modelo jam, un modelo estilo GPT-2 de 350 millones de parámetros) que es ajustado (fine-tuned) utilizando datos reales de seguimiento ocular. La metodología consta de tres componentes principales:

Objetivo de predicción: El modelo predice el Porcentaje de Tiempo Total de Mirada (ptgt) para cada palabra en un fragmento de código fuente. El ptgt se define como el tiempo total de mirada en una palabra específica (Región de Interés) dividido por el tiempo total de mirada para todo el artefacto de código. Esta métrica cuantifica la importancia relativa o la atención asignada a un token específico.
Representación de entrada: La secuencia de entrada comprende tres partes: los tokens del código fuente, los tokens de fijación (palabras donde se detuvo el ojo humano) y los tokens inmediatamente adyacentes a los tokens de fijación.
Función de pérdida personalizada: La innovación central es una nueva función de pérdida diseñada para alinear la atención interna de la máquina con la atención humana durante el ajuste fino. El proceso implica:
- Lectura de atención (Attention Readout): Extracción de las matrices de atención ( $Q$ y $K$ ) de la última capa del Transformer (específicamente promediando las cabezas 10–16, basándose en hallazgos previos de que las capas más profundas se alinean mejor con la atención humana).
- Puntuación de atención de la máquina: Cálculo de una puntuación de atención escalar ( $\hat{a}$ ) promediando las probabilidades de atención entre los tokens adyacentes a las fijaciones y los propios tokens de fijación.
- Supervisión humana: Cálculo de la similitud entre la puntuación de atención de la máquina ( $\hat{a}$ ) y el ptgt humano de referencia (ground-truth) ( $a$ ).
- Composición de la pérdida: La pérdida total ( $L$ ) combina la pérdida estándar de Entropía Cruzada Categórica (CCE) para el modelado de lenguaje con dos términos auxiliares: el Error Cuadrático Medio (MSE) para imponer la exactitud absoluta en la magnitud del tiempo de mirada, y una pérdida de Correlación de Pearson transformada ( $L_{corr}$ ) para imponer la estructura relativa de la atención (clasificación de tokens de alta frente a baja atención). La pérdida se reescala dinámicamente para evitar que los términos auxiliares dominen el objetivo de modelado de lenguaje.

Contribuciones clave

Nueva función de pérdida: El diseño de una función de pérdida que minimiza explícitamente la divergencia entre la atención visual humana (ptgt) y la autoatención interna de una red neuronal, utilizando tanto MSE como la correlación de Pearson.
Predicción de grano fino: Ir más allá de las predicciones biométricas o de dificultad de tarea de grano grueso para predecir la atención al nivel de palabras individuales (tokens) en el código fuente.
Estudio de ablación: Una evaluación sistemática que demuestra la contribución específica del componente de correlación de Pearson al rendimiento del modelo.
Extensión de la predicción de rutas de escaneo (Scanpath): Aplicación del modelo alineado con la atención a la tarea de predecir la secuencia de fijaciones (ruta de escaneo), una tarea que requiere la comprensión de los procesos de pensamiento humano.

Resultados experimentales
El modelo fue evaluado en tres conjuntos de datos distintos que involucran lenguajes de programación Java y C, y tareas que incluyen documentación de código y localización de errores (estudios de Smith, Wallace y Rodeghero).

Predicción de atención (RQ1): El modelo propuesto superó significativamente a los modelos base de ingeniería de software (Bansal et al.) y de visión artificial (Tafasca et al.).
- En el estudio de Wallace (Java), el modelo alcanzó una correlación de Pearson de 0.45, comparado con 0.27 y 0.21 de los modelos base (una mejora del 64% sobre el mejor modelo base).
- En el estudio de Rodeghero (Java), alcanzó 0.48 frente a 0.41 y 0.42 (mejora del 16%).
- En el estudio de Smith (C), alcanzó 0.25 frente a 0.04 y 0.04 (mejora del 467%).
- La similitud del modelo con la referencia humana agregada fue comparable a, y en algunos aspectos superó, la similitud entre participantes humanos individuales, lo que sugiere que el modelo captura la estructura de atención de "consenso" que queda oscurecida por la variabilidad individual.
Estudio de ablación (RQ2): La eliminación de la pérdida de correlación de Pearson resultó en un menor rendimiento en todas las métricas (Pearson, Spearman, Kendall, Coseno), confirmando que el término de correlación es esencial para aprender el orden de clasificación correcto de la atención.
Predicción de rutas de escaneo (RQ3): Utilizando el conjunto de datos de Bansal et al. para la sumarización de código, el modelo superó al modelo base original de Bansal y a los modelos comerciales (GPT-5 Nano y Claude-Haiku-4.5) en Distancia de Levenshtein Normalizada (NLD), NDCG, Precisión y Recall. Notablemente, el modelo predijo rutas de escaneo que se alineaban más estrechamente con los programadores humanos (por ejemplo, centrándose en los cuerpos de los métodos en lugar de solo en las firmas) en comparación con los modelos comerciales, que exhibían procesos de pensamiento "ajenos".

Significancia y afirmaciones
El artículo afirma que un modelo de lenguaje basado en Transformer, cuando se ajusta con una función de pérdida personalizada que incorpora datos de seguimiento ocular humano, puede predecir eficazmente la atención visual humana agregada en las palabras del código fuente. Los autores enfatizan que el modelo actúa como un estimador de la estructura de atención agregada en lugar de un sustituto de un humano específico.

Las afirmaciones clave incluyen:

Alineación: La atención de la máquina, cuando es guiada por datos humanos, puede imitar la distribución de la atención humana en las palabras del código con un nivel de precisión comparable al acuerdo interhumano.
Comprensión de la tarea: El rendimiento mejorado del modelo en la predicción de rutas de escaneo sugiere que alinear la atención interna con los patrones visuales humanos mejora la capacidad del modelo para manejar tareas que requieren la comprensión de los procesos de pensamiento humano (por ejemplo, la sumarización de código).
Limitaciones: Los autores señalan modestamente que el modelo agrega la atención a lo largo del tiempo, perdiendo la dinámica temporal y los patrones de regresión. También advierten que el modelo no es un relato completo de los mecanismos de atención humana y que los resultados pueden no generalizarse a tareas que requieran ventanas de contexto más grandes que la capacidad del modelo (1,024 tokens) o a lenguajes/tareas no representados en los datos de entrenamiento.

Este trabajo se posiciona como un paso adelante en el modelado computacional de la cognición del programador, ofreciendo una herramienta para comprender mejor qué información necesitan los programadores y cómo diseñar interfaces que se alineen con los procesos cognitivos humanos.

Más como este