💬 NLP

RECAP: An End-to-End Platform for Capturing, Replaying, and Analyzing AI-Assisted Programming Interactions

El artículo presenta RECAP, una plataforma de código abierto que captura y unifica pasivamente sesiones de chat con IA junto con ediciones de código de granularidad fina para habilitar la reproducción interactiva y el análisis avanzado de patrones de interacción entre desarrolladores e IA, validado mediante una implementación que involucró a 41 estudiantes.

Autores originales: Keyu He, Qianou Ma, Valerie Chen, Wayne Chi, Tongshuang Wu

Publicado 2026-05-06

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Keyu He, Qianou Ma, Valerie Chen, Wayne Chi, Tongshuang Wu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que intentas entender cómo un estudiante aprende a cocinar observándolo usar un asistente de cocina inteligente. Si solo miras el plato final (el código que enviaron) o solo lees los mensajes de texto que enviaron al asistente (los registros del chat), te pierdes toda la historia. No ves los ingredientes que probaron y tiraron, los momentos en que ignoraron el consejo del asistente, ni cómo cambió su estrategia de cocina con el tiempo.

RECAP es una nueva herramienta diseñada para corregir este punto ciego. Actúa como un registrador de "caja negra" para programadores que utilizan asistentes de codificación con IA (como GitHub Copilot) dentro de su editor de código (VS Code).

Así es como funciona, desglosado en partes simples:

1. El registrador "en la sombra" (La cámara)

Piensa en el ordenador del programador como una cocina ocupada. Por lo general, un programador solo guarda su trabajo cuando pulsa "confirmar" (como tomar una foto del plato cada hora). Esto omite todo el picado, la degustación y los quemados que ocurrieron en el intervalo.

RECAP instala una extensión diminuta e invisible llamada Archivador de Interacciones con Copilot.

Vigila el chat: Registra cada pregunta que el estudiante hace a la IA y cada respuesta que la IA da.
Vigila el código: Crea una versión "en la sombra" del código que guarda una instantánea cada vez que el estudiante pulsa guardar, o incluso cuando solo están escribiendo y aún no han guardado.
El enlace mágico: Conecta ambos. Sabe que a las 14:00, el estudiante pidió a la IA una corrección específica, y a las 14:02, esa corrección exacta apareció en el código. Vincula el "prompt" con el "resultado".

2. El visor de viajes en el tiempo (La reproducción)

Una vez recopilados los datos, los investigadores pueden usar el Visor de Reproducción de Sesiones. Esto es como una función de reproducción de videojuegos, pero para la codificación.

La línea de tiempo: En lugar de ver solo una lista de archivos, ves una única línea de tiempo colorida.
- Los puntos azules son preguntas hechas a la IA.
- Los puntos amarillos son código sugerido por la IA.
- Los puntos verdes son código escrito por el humano.
La explicación paso a paso: Un investigador puede pulsar reproducir y observar cómo se desarrolla toda la sesión del estudiante. Pueden ver: "Ah, aquí el estudiante pidió a la IA que corrigiera un error, la IA sugirió una solución, el estudiante la rechazó, lo intentó por sí mismo, falló, y luego volvió a la IA".

3. ¿Qué descubrieron? (El trabajo de detective)

Los investigadores probaron esta herramienta en una clase universitaria con 41 estudiantes trabajando en un proyecto de dos semanas. No solo contaron cuántas veces los estudiantes usaron la IA; utilizaron la reproducción para detectar patrones interesantes que de otro modo habrían sido invisibles:

El bucle "atascado": Un estudiante pasó 11 minutos atrapado en un bucle. Pegaron un mensaje de error, la IA lo corrigió, apareció un nuevo error, pegaron ese, y el ciclo se repitió. La reproducción mostró claramente esta lucha circular, mientras que un archivo de código final solo parecería un proyecto terminado.
El enfoque "Frankenstein": Un estudiante utilizó una IA (ChatGPT) para elaborar un gran plan, luego pegó ese plan en otra IA (Copilot) para escribir el código. La reproducción vinculó estas dos herramientas diferentes, mostrando cómo los estudiantes mezclan y combinan asistentes de IA.
Aprender a conducir: A medida que avanzaba el proyecto, los estudiantes confiaron menos en la IA para escribir el código real. Usaron la IA más para explicar conceptos y planificar, lo que sugiere que estaban aprendiendo a conducir el coche ellos mismos en lugar de dejar que la IA tomara el volante.

Por qué esto importa

Antes de RECAP, los investigadores eran como detectives intentando resolver un crimen mirando solo la escena del crimen (el código final) o el diario del sospechoso (los registros del chat), pero nunca viendo el evento real.

RECAP proporciona la película completa. Permite a educadores e investigadores ver exactamente cómo humanos e IA trabajan juntos durante largos períodos, revelando el proceso desordenado de prueba y error que conduce al resultado final.

Nota importante: El artículo enfatiza que esta herramienta está diseñada actualmente para VS Code y GitHub Copilot. Es una herramienta de código abierto para que investigadores y profesores estudien cómo las personas aprenden y trabajan, no una herramienta para calificar estudiantes ni un dispositivo médico. Los datos recopilados están estrictamente anonimizados y protegidos para garantizar la privacidad de los estudiantes.

Resumen Técnico: RECAP – Una Plataforma de Extremo a Extremo para Capturar, Reproducir y Analizar Interacciones de Programación Asistida por IA

Declaración del Problema

Comprender las interacciones de los desarrolladores con asistentes de codificación con IA (por ejemplo, GitHub Copilot, Cursor) requiere más que registros de chat aislados o historiales de Git. Las fuentes de datos actuales no logran reconstruir el contexto causal completo: qué prompt específico llevó a qué edición de código, qué sugerencias se descartaron y cómo evolucionaron las estrategias con el tiempo. Esta brecha se ve exacerbada por el cambio hacia la codificación "agente", donde un solo prompt puede abarcar múltiples archivos, invocar herramientas externas e iterar a lo largo de muchas turnos.

Dos desafíos principales obstaculizan la instrumentación existente:

Vinculación: Los registros de chat y los historiales de Git existen en sistemas separados sin identificadores compartidos, rompiendo el vínculo causal entre un prompt y las ediciones resultantes.
Horizonte Largo: Las sesiones de desarrollo a menudo abarcan horas o días, superando con creces el alcance de los estudios de laboratorio típicos. El control de versiones estándar carece de la resolución temporal para aislar ediciones individuales dentro de un solo commit, el cual puede agrupar horas de trabajo, incluidas sugerencias aceptadas/rechazadas y intentos de depuración.

Trabajos anteriores se han centrado en tareas cortas y controladas, entornos exclusivos de cuadernos o interfaces personalizadas que no capturan las complejidades de los flujos de trabajo agentes modernos, multiarchivo y de horizonte largo.

Metodología

Los autores presentan RECAP (Replay and Examine Captured AI Programming, Reproducción y Examen de Programación con IA Capturada), una plataforma de código abierto diseñada para observar y analizar la programación asistida por IA en entornos naturalistas. La arquitectura del sistema consta de dos componentes principales y una capa de análisis extensible:

1. Archivador de Interacciones con Copilot (Extensión de VS Code)

Esta extensión captura pasivamente dos flujos de datos sincronizados sin interrumpir el flujo de trabajo del desarrollador:

Sesiones de Chat: La extensión monitorea el almacenamiento del espacio de trabajo de VS Code en busca de archivos de conversación de GitHub Copilot (JSON). Extrae prompts de usuario, respuestas de la IA, llamadas a herramientas y Grupos de Edición de Texto (TEG): las rutas de archivo exactas y el contenido que la IA propuso insertar. Los datos se cargan en almacenamiento en la nube con un rebote de 10 segundos.
Historial Git Sombra: Un repositorio Git oculto (.archiver_shadow/) refleja el espacio de trabajo del usuario. Realiza commits en cada guardado, creación, eliminación o renombrado de archivos. Crucialmente, también captura cambios no guardados en el editor como commits "SNAPSHOT SUCIO" (rebote de 5 segundos, intervalo máximo de 30 segundos). Esto proporciona un historial diferenciable mucho más granular que los commits estándar de Git.
Privacidad: Los identificadores de usuario se hashan con SHA-256 en el lado del cliente antes de la transmisión. El backend hace cumplir prefijos de ruta basados en el hash del usuario autenticado, y la extensión utiliza URLs firmadas de corta duración para las cargas, nunca almacenando credenciales en la nube.

2. Visor de Reproducción de Sesiones (Aplicación Web)

Este componente fusiona los flujos de chat y código en una línea de tiempo cronológica unificada:

Reconstrucción de la Línea de Tiempo: Alinea los commits del Git sombra con los eventos del chat.
Atribución de Ediciones: El sistema atribuye las ediciones de código a respuestas específicas de la IA al igualar los TEG del JSON del chat con los diffs de Git posteriores dentro de una ventana de 5 minutos utilizando comparación difusa a nivel de línea. Las ediciones se clasifican como coincidencias completas, coincidencias parciales (debido a formato o modificación por parte del desarrollador) o sin coincidencia. Las ediciones sin coincidencia que superan los umbrales de tamaño o los límites de velocidad de escritura (>100 WPM) se marcan como probables "Fuentes Externas".
Interfaz: El visor ofrece una disposición de cuatro paneles: un árbol de archivos con insignias de atribución de IA, una vista unificada de diff estilo GitHub, un panel de chat cronológico y una barra de línea de tiempo codificada por colores (distinguiendo ediciones humanas, ediciones de Copilot, prompts de chat y acciones del agente).
Vista General de Múltiples Estudiantes: En entornos de clase, una vista agregada permite a los instructores identificar valores atípicos basados en la dependencia de la IA o los patrones de trabajo.

3. Capa de Análisis Extensible

La plataforma incluye módulos de ejemplo que los investigadores pueden extender:

Clasificación de Comportamiento: Utiliza un LLM para clasificar los prompts en 17 códigos a través de 6 categorías (Planificar, Codificar, Explicar, Evaluar, Configurar, Conversar).
Métricas de Dependencia de la IA: Calcula la fracción de ediciones atribuidas a la IA por sesión de trabajo (definida por brechas de inactividad de 30 minutos).
Incrustación de Prompts: Incrusta prompts utilizando un transformador de oraciones multilingüe, los proyecta a 2D mediante t-SNE y los agrupa utilizando KMeans.

Despliegue y Resultados

Los autores desplegaron RECAP en un curso universitario de ingeniería de software (Primavera 2026) que involucró a 41 estudiantes trabajando en un proyecto de dos semanas para extender características basadas en LLM en Zulip.

Datos Capturados:

Participantes: 41 estudiantes.
Volumen: 2.034 prompts y 8.239 ediciones de código (commits) a través de 406 sesiones de trabajo.
Nota: 29 estudiantes generaron datos de chat; los 41 generaron datos de Git sombra. La discrepancia refleja estudiantes que utilizan herramientas de IA fuera del Chat de Copilot de VS Code (por ejemplo, ChatGPT basado en navegador), lo cual el Git sombra aún capturó.

Observaciones Clave:

Distribución Conductual: "Explicar" dominó el uso de prompts (44%, con "explicar error" solo en un 29%), seguido de Planificar (14%), Codificar (14%), Conversar (13%), Configurar (8%) y Evaluar (6%). Esto sugiere que los estudiantes utilizaron la IA más para la comprensión que para la generación.
Tendencia de Dependencia de la IA: La fracción de ediciones atribuidas a la IA disminuyó significativamente a lo largo de sesiones de trabajo sucesivas ( $r = -0.222, p < 0.001$ ), lo que indica un cambio alejándose del código generado por IA a medida que avanzaba el proyecto.
Patrones Cualitativos: El visor de reproducción reveló patrones de interacción invisibles en registros aislados:
- Bucles de pegado de errores: Un estudiante dando vueltas al mismo error durante 11 minutos, con la IA realizando arreglos superficiales que llevaron a nuevos errores.
- Uso entre herramientas: Un estudiante utilizando ChatGPT para la estrategia arquitectónica y pegando el resultado en Copilot para la implementación.
- Generación agente: Un flujo de trabajo donde un estudiante solicitó al agente especificaciones completas, lo que llevó a la creación autónoma de archivos, seguido de un refinamiento iterativo. Esto destacó que los flujos de trabajo "generar-luego-depurar" tuvieron éxito en tareas más simples pero lucharon con características complejas y multi-componente.

Significado y Afirmaciones

El artículo posiciona a RECAP como una herramienta necesaria para abordar la brecha en validez ecológica, escala de tareas y análisis reproducible en la investigación de programación asistida por IA.

Contexto Unificado: RECAP es la primera plataforma que vincula prompts, sugerencias y ediciones de código detalladas a través de sesiones de desarrollo extendidas, permitiendo la reconstrucción de cadenas causales que las fuentes de datos aisladas no pueden apoyar.
Instrumentación Escalable: Proporciona una solución escalable y de código abierto para capturar interacciones de IA agente en entornos naturalistas, superando las limitaciones de tareas cortas basadas en laboratorio.
Habilitación de Investigación: La plataforma habilita nuevos análisis, como rastrear la evolución de la dependencia de la IA a lo largo del tiempo e identificar bucles de interacción específicos (por ejemplo, pegado de errores) que informan el diseño futuro de herramientas y la pedagogía.

Los autores declaran explícitamente que el despliegue en el aula sirve como una demostración de las capacidades de la plataforma en lugar de un estudio empírico independiente. Los análisis presentados son ilustraciones exploratorias de lo que permiten los datos vinculados.

Limitaciones

Los autores señalan varias limitaciones:

Alcance: Actualmente limitado a VS Code y GitHub Copilot; la extensión a otros IDE (por ejemplo, Cursor) y agentes es trabajo futuro.
Heurística de Atribución: La heurística de "Fuente Externa" puede producir falsos positivos para grandes bloques de código manual.
Dependencia del Clasificador: El clasificador de comportamiento depende de un LLM comercial, introduciendo costos potenciales e inconsistencias.
Generalizabilidad: El estudio de caso se limita a un solo curso; la generalización a desarrolladores profesionales requiere una validación adicional.