💻 computer science

Predicting Program Comprehension with Foundation Models of Human Cognition

Este artículo demuestra que Centaur, un modelo fundacional de la cognición humana entrenado en datos psicológicos generales, supera a su modelo base Llama 3.1 en la predicción del comportamiento de los desarrolladores durante la comprensión de programas, lo que sugiere que las regularidades cognitivas aprendidas de experimentos psicológicos amplios pueden transferirse eficazmente a tareas complejas de ingeniería de software.

Autores originales: Yannick Lehmen, Marvin Wyrich, Anna-Maria Maurer, Norman Peitek, Marvin Wyrich

Publicado 2026-07-14

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yannick Lehmen, Marvin Wyrich, Anna-Maria Maurer, Norman Peitek, Marvin Wyrich

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que intentas adivinar qué dirá un amigo a continuación en una conversación. Podrías intentar memorizar cada una de las conversaciones que ha tenido en la vida, o podrías intentar comprender las reglas generales de cómo los humanos piensan, hablan y reaccionan. Durante décadas, los investigadores que intentaban predecir cómo los desarrolladores de software entienden el código se han quedado estancados en el primer grupo: han construido modelos diminutos y específicos para tareas concretas, o han intentado medir la "complejidad" del código contando cosas como el número de comas en una oración. Pero estos métodos son como intentar predecir una película entera mirando únicamente el color de los zapatos de los actores: o no escalan bien o simplemente no coinciden con la realidad.

Entra en escena una nueva idea del mundo de la psicología. En lugar de construir un modelo solo para la programación, ¿qué pasaría si entrenáramos un modelo sobre cómo actúan los humanos en todo tipo de situaciones? Eso es exactamente lo que hicieron los investigadores en este artículo. Tomaron una IA superinteligente llamada Centaur, que había sido entrenada con datos de 160 experimentos psicológicos diferentes (como juegos de memoria o acertijos de toma de decisiones), y le plantearon una gran pregunta: ¿Puede este "simulador del cerebro humano general" entender cómo los desarrolladores leen código, a pesar de que nunca vio una sola línea de código durante su entrenamiento?

El Gran Descubrimiento
La respuesta, sugiere el artículo, es un rotundo "sí". Cuando probaron a Centaur frente a 9 estudios diferentes que involucraban a desarrolladores reales leyendo código, Centaur predijo cómo responderían los humanos mucho mejor que su "modelo padre", Llama 3.1, que no había sido entrenado con esos experimentos psicológicos. De hecho, en todos los ensayos, las predicciones de Centaur estuvieron significativamente más cerca del comportamiento humano. Piénsalo de esta manera: Llama 3.1 es un estudiante brillante que sabe muchos datos, pero no ha aprendido cómo piensa la gente realmente. Centaur es ese mismo estudiante, pero después de cursar un semestre de "Comportamiento Humano 101", de repente entiende cómo reacciona la gente, incluso en un tema totalmente nuevo como la programación.

Lo que NO es
Aquí está la parte más importante: El artículo descarta explícitamente algunas cosas.

No se trata solo de adivinar la respuesta. Los investigadores temían que Centaur pudiera ser bueno simplemente adivinando respuestas comunes (como "Sí" o "No") porque las vio muchas veces en su entrenamiento. Pero demostraron que esto era falso. Cuando eliminaron el código y las instrucciones de la tarea, Centaur no se limitó a depender de los "sesgos de respuesta". De hecho, mejoró su capacidad para utilizar el propio código y las descripciones de la tarea para hallar la respuesta.
No es un oráculo mágico. El artículo tiene cuidado en decir que esto es una "sugerencia" y una "transferencia" de patrones, no una teoría final y resuelta de la mente humana. Encontraron que, para algunos patrones de código complicados y confusos (llamados "Átomos de Confusión"), Centaur no fue tan bueno como Llama. Esto sugiere que, si bien el pensamiento humano general ayuda, todavía existen algunas peculiaridades de la programación muy específicas que el modelo aún no ha aprendido.

Cómo lo Probaron
Para estar seguros, los investigadores jugaron al juego de "quitar elementos". Alimentaron a los modelos con el mismo código y las mismas preguntas, pero eliminaron diferentes piezas de información:

El Código: Los fragmentos de programación reales.
Las Instrucciones: El texto que explica qué hacer.
El Historial: Lo que el desarrollador hizo en preguntas anteriores.

Descubrieron que Centaur dependía menos del historial de respuestas previas (que a Llama le encantaba usar) y más del código y las instrucciones reales. Esta es una pista enorme: significa que Centaur aprendió una forma más profunda de entender la tarea, en lugar de simplemente seguir un patrón de "¿qué dije la última vez?".

Los Números
Los resultados se midieron utilizando una puntuación llamada "log-verosimilitud negativa" (negative log likelihood), donde un valor menor es mejor. En todos los estudios, Centaur logró un promedio de 1.63, mientras que Llama 3.1 obtuvo un 1.85. En 7 de los 9 estudios analizados, Centaur fue significativamente mejor. La diferencia no fue solo un pequeño error fortuito; el "tamaño del efecto" estadístico fue de 0.17, algo que el artículo señala como una mejora real y mensurable.

La Conclusión
Este artículo no pretende haber resuelto el misterio de cómo piensan los desarrolladores. En cambio, sugiere un nuevo y poderoso camino a seguir. Demuestra que la forma en que los humanos entienden el código no es un superpoder extraño e aislado; está construida sobre las mismas reglas cognitivas generales que nos ayudan a jugar juegos de memoria o a tomar decisiones en otras partes de la vida. Al entrenar a la IA con el comportamiento humano general, podríamos finalmente obtener una herramienta que pueda predecir cómo los desarrolladores tendrán dificultades con el código, no solo contando líneas, sino comprendiendo la mente humana detrás del teclado. Es un paso hacia un futuro donde podamos construir herramientas de software que sean verdaderamente "conscientes del humano", fundamentadas en la ciencia de cómo pensamos realmente.

Resumen Técnico: Predicción de la Comprensión de Programas mediante Modelos Fundacionales de la Cognición Humana

Planteamiento del Problema

La ingeniería de software depende en gran medida de la capacidad de los desarrolladores para comprender el código, pero predecir cómo lo comprenden sigue siendo un desafío significativo. Los enfoques actuales sufren de una compensación entre escalabilidad y precisión:

Los experimentos controlados ofrecen información precisa pero carecen de escalabilidad y generalizabilidad más allá de entornos específicos.
Las medidas proxy (por ejemplo, métricas de complejidad) son escalables pero muestran correlaciones débiles con el comportamiento humano real.
Los métodos neurocognitivos (por ejemplo, fMRI, EEG) proporcionan señales ricas pero son costosos, difíciles de generalizar y limitados en su alcance.

Una limitación común en todos estos enfoques es la incapacidad de capturar regularidades transferibles en las respuestas humanas, lo que dificulta la construcción de modelos predictivos que se generalicen a través de diferentes tareas, individuos y diseños de estudio. Si bien la psicología se ha desplazado recientemente hacia el uso de modelos de aprendizaje automático de "caja negra" entrenados en datos conductuales a gran escala para predecir respuestas humanas, aún no está claro si estos modelos pueden transferirse a dominios complejos y estructurados como la ingeniería de software.

Metodología

Los autores evalúan Centaur, un modelo fundacional de la cognición humana ajustado (fine-tuned) con datos de 160 diversos experimentos psicológicos, frente a su modelo base, Llama 3.1. El estudio investiga si los patrones de comportamiento aprendidos de tareas cognitivas generales pueden predecir el comportamiento del desarrollador en la comprensión de programas.

Construcción del Conjunto de Datos

Los investigadores curaron un conjunto de datos a partir de 9 estudios de comprensión de programas previamente publicados (de un grupo inicial de 95). Los criterios de selección requirieron:

Paquetes de replicación accesibles.
Datos conductuales bien estructurados (descripciones de tareas, código fuente y respuestas de los participantes).
Compatibilidad con el prompting de lenguaje natural (excluyendo tareas como diagramas de clases o respuestas de texto libre sin restricciones).

El conjunto de datos final incluyó 9 estudios que cubren temas como la complejidad del código, la indentación, las cadenas de métodos, la legibilidad y los "átomos de confusión", involucrando de 208 a 22 participantes por estudio y miles de ensayos.

Diseño Experimental

La evaluación se estructuró en torno a dos Preguntas de Investigación (RQ):

RQ1: Comparación de Rendimiento. Los autores compararon Centaur y Llama 3.1 en su capacidad para predecir distribuciones de respuesta humana. Los modelos fueron evaluados utilizando la Log-Verosimilitud Negativa (NLL), que mide qué tan bien los modelos predijeron los tokens exactos elegidos por los participantes humanos.
RQ2: Fuente de Rendimiento (Estudios de Ablación). Para determinar si las mejoras fueron impulsadas por información relevante para la tarea o por sesgos de respuesta genéricos, los autores realizaron estudios de ablación. Variaron sistemáticamente la información disponible en los prompts eliminando:
- SEQU: Información sobre ensayos previos y respuestas de los participantes.
- DESC: Descripciones e instrucciones de la tarea.
- CODE: Los fragmentos de código fuente.
Esto generó 8 categorías de prompts distintas (por ejemplo, SEQU+CODE+DESC, CODE, NOINFO) para aislar la contribución de cada fuente de información.

Resultados Clave

RQ1: Centaur Supera a Llama 3.1

Alineación General: Centaur logró una NLL promedio significativamente menor (1.63) en comparación con Llama 3.1 (1.85), lo que indica una mayor alineación con los patrones de respuesta humana ( $p < 0.001$ , Cohen's $d = -0.17$ ).
Rendimiento a Nivel de Estudio: Centaur superó significativamente a Llama en 7 de los 9 estudios. En los dos restantes, uno no mostró una diferencia significativa y el otro mostró una disminución insignificante en el rendimiento de Centaur.
Sensibilidad a la Tarea: Ambos modelos tuvieron dificultades con tareas que involucraban respuestas de texto libre largas (NLL alta), mientras que funcionaron significativamente mejor en tareas con formatos de respuesta restringidos (por ejemplo, Sí/No, escalas de Likini).

RQ2: Fuentes de Mejora

Los estudios de ablación revelaron que la brecha de rendimiento entre Centaur y Llama no se debe simplemente al aprendizaje de sesgos de respuesta genéricos:

Dependencia de Respuestas Previas (SEQU): Llama 3.1 fue significativamente más dependiente de la información de ensayos y respuestas previas. Cuando se eliminó la información de SEQU, el rendimiento de Llama se degradó más drásticamente que el de Centaur.
Utilización del Contenido de la Tarea (CODE y DESC): Centaur se benefició más de la presencia de descripciones de tareas y fragmentos de código. Eliminar estos elementos causó una caída relativa de rendimiento mayor para Centaur en comparación con Llama, lo que sugiere que Centaur ha aprendido a utilizar mejor la información semántica específica de la tarea.
Efectos de Interacción: En escenarios de "Sin Información" (NOINFO), las salidas de Centaur permanecieron más cercanas a las respuestas humanas que las de Llama, particularmente en estudios con salidas de un solo carácter, lo que sugiere que Centaur ha aprendido regularidades robustas en el formato de respuesta independientemente del contenido de entrada.

Significancia y Reivindicaciones

El artículo afirma proporcionar la primera evidencia empírica de que los modelos fundacionales de la cognición humana, entrenados exclusivamente con datos psicológicos generales (sin tareas específicas de ingeniería de software), pueden transferirse con éxito para predecir el comportamiento humano en la comprensión de programas.

Las implicaciones clave destacadas por los autores incluyen:

Generalizabilidad de las Regularidades Cognitivas: Los resultados sugieren que los procesos cognitivos fundamentales (por ejemplo, memoria de trabajo, atención, procesamiento semántico) aprendidos de experimentos psicológicos simples se generalizan a tareas de ingeniería de software complejas y estructuradas.
Cambio en la Perspectiva de Modelado: Los hallazgos apoyan una visión de la comprensión de programas no como un conjunto de fenómenos aislados, sino como una interacción de procesos cognitivos de dominio general. Esto ofrece una vía hacia un marco unificado y basado en datos para modelar el comportamiento del desarrollador fundamentado en la ciencia cognitiva.
Utilidad Práctica: Tales modelos ofrecen una alternativa consciente del comportamiento frente a las métricas de complejidad tradicionales. Pueden incorporar implícitamente factores que a menudo se ignoran en el análisis estático (por ejemplo, convenciones de nomenclatura, documentación) y pueden usarse para estimar la dificultad de comprensión del código en flujos de trabajo del mundo real, especialmente a medida que los desarrolladores dependen cada vez más de los asistentes de codificación con IA.
Complementariedad Metodológica: Aunque no son interpretables en el sentido tradicional, los modelos fundacionales predictivos como Centaur pueden servir como una herramienta complementaria para la generación de hipótesis y el refinamiento de teorías más estructuradas e interpretables de la comprensión de programas.

Los autores mantienen la modestia respecto al alcance, señalando que su evaluación está limitada a conjuntos de datos y formatos de respuesta específicos, y que los procesos cognitivos específicos que impulsan la transferencia requieren mayor investigación. No pretenden haber resuelto la comprensión de programas, sino haber abierto una nueva vía para estudiarla a través de la lente de la cognición humana general.