💬 NLP

RECAP: An End-to-End Platform for Capturing, Replaying, and Analyzing AI-Assisted Programming Interactions

O artigo apresenta o RECAP, uma plataforma de código aberto que captura e unifica passivamente sessões de chat com IA e edições de código de alta granularidade para permitir a reprodução interativa e análise avançada de padrões de interação entre desenvolvedores e IA, conforme validado por uma implantação envolvendo 41 estudantes.

Autores originais: Keyu He, Qianou Ma, Valerie Chen, Wayne Chi, Tongshuang Wu

Publicado 2026-05-06

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Keyu He, Qianou Ma, Valerie Chen, Wayne Chi, Tongshuang Wu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando entender como um aluno aprende a cozinhar observando-o usar um assistente de cozinha inteligente. Se você olhar apenas para o prato final (o código que ele enviou) ou apenas ler as mensagens de texto que ele enviou ao assistente (os registros do chat), você perde a história completa. Você não vê os ingredientes que ele tentou e descartou, os momentos em que ignorou o conselho do assistente, ou como sua estratégia de cozimento mudou ao longo do tempo.

RECAP é uma nova ferramenta projetada para corrigir essa visão limitada. Ela atua como um gravador de "caixa preta" para programadores que usam assistentes de codificação com IA (como o GitHub Copilot) dentro de seu editor de código (VS Code).

Veja como funciona, dividido em partes simples:

1. O Gravador "Sombra" (A Câmera)

Pense no computador do programador como uma cozinha movimentada. Normalmente, um programador só salva seu trabalho quando clica em "commit" (como tirar uma foto do prato a cada hora). Isso perde todo o processo de picar, provar e queimar que aconteceu no intervalo.

O RECAP instala uma extensão pequena e invisível chamada Arquivador de Interação com o Copilot.

Ele observa o chat: Grava cada pergunta que o aluno faz à IA e cada resposta que a IA dá.
Ele observa o código: Cria uma versão "sombra" do código que salva um instantâneo toda vez que o aluno clica em salvar, ou mesmo quando ele está apenas digitando e ainda não salvou.
O Elo Mágico: Ele conecta os dois. Ele sabe que às 14h, o aluno pediu à IA uma correção específica, e às 14h02, essa correção exata apareceu no código. Ele vincula o "prompt" ao "resultado".

2. O Visualizador de Viagem no Tempo (A Replay)

Uma vez que os dados são coletados, os pesquisadores podem usar o Visualizador de Replay de Sessão. Isso é como um recurso de replay de videogame, mas para codificação.

A Linha do Tempo: Em vez de ver apenas uma lista de arquivos, você vê uma única linha do tempo colorida.
- Pontos azuis são perguntas feitas à IA.
- Pontos amarelos são códigos sugeridos pela IA.
- Pontos verdes são códigos digitados pelo próprio humano.
O Percorrer: Um pesquisador pode clicar em reproduzir e assistir a toda a sessão do aluno se desenrolar. Eles podem ver: "Ah, aqui o aluno pediu à IA para corrigir um erro, a IA sugeriu uma solução, o aluno rejeitou, tentou sozinho, falhou e depois voltou à IA".

3. O Que Eles Encontraram? (O Trabalho de Detetive)

Os pesquisadores testaram essa ferramenta em uma turma universitária com 41 alunos trabalhando em um projeto de duas semanas. Eles não apenas contaram quantas vezes os alunos usaram a IA; usaram o replay para identificar padrões interessantes que seriam invisíveis de outra forma:

O Loop "Preso": Um aluno passou 11 minutos preso em um loop. Ele colou uma mensagem de erro, a IA corrigiu, um novo erro apareceu, ele colou aquele, e o ciclo se repetiu. O replay mostrou essa luta circular claramente, enquanto um arquivo de código final pareceria apenas um projeto concluído.
A Abordagem "Frankenstein": Um aluno usou uma IA (ChatGPT) para criar um grande plano, depois colou esse plano em outra IA (Copilot) para escrever o código. O replay vinculou essas duas ferramentas diferentes, mostrando como os alunos estão misturando e combinando assistentes de IA.
Aprender a Dirigir: À medida que o projeto avançava, os alunos confiavam menos na IA para escrever o código real. Eles usavam a IA mais para explicar conceitos e planejar, sugerindo que estavam aprendendo a dirigir o carro eles mesmos, em vez de deixar a IA assumir o volante.

Por Que Isso Importa

Antes do RECAP, os pesquisadores eram como detetives tentando resolver um crime olhando apenas para a cena do crime (o código final) ou o diário do suspeito (os registros do chat), mas nunca vendo o evento real.

O RECAP fornece o filme completo. Ele permite que educadores e pesquisadores vejam exatamente como humanos e IA trabalham juntos ao longo de longos períodos, revelando o processo desordenado de tentativa e erro que leva ao resultado final.

Nota Importante: O artigo enfatiza que esta ferramenta foi projetada atualmente para VS Code e GitHub Copilot. É uma ferramenta de código aberto para pesquisadores e professores estudarem como as pessoas aprendem e trabalham, não uma ferramenta para avaliar alunos ou um dispositivo médico. Os dados coletados são estritamente anonimizados e protegidos para garantir a privacidade dos alunos.

Resumo Técnico: RECAP – Uma Plataforma de Ponta a Ponta para Captura, Replay e Análise de Interações de Programação Assistida por IA

Declaração do Problema

Compreender as interações dos desenvolvedores com assistentes de codificação por IA (por exemplo, GitHub Copilot, Cursor) exige mais do que logs de chat isolados ou históricos do Git. As fontes de dados atuais falham em reconstruir o contexto causal completo: qual prompt específico levou a qual edição de código, quais sugestões foram descartadas e como as estratégias evoluíram ao longo do tempo. Essa lacuna é exacerbada pela mudança em direção à codificação "agente", onde um único prompt pode abranger múltiplos arquivos, invocar ferramentas externas e iterar por muitas trocas.

Dois desafios principais impedem a instrumentação existente:

Vinculação: Logs de chat e históricos do Git existem em sistemas separados sem identificadores compartilhados, quebrando o vínculo causal entre um prompt e as edições resultantes.
Horizonte Longo: Sessões de desenvolvimento frequentemente abrangem horas ou dias, superando amplamente o escopo de estudos de laboratório típicos. O controle de versão padrão carece da resolução temporal para isolar edições individuais dentro de um único commit, que pode agrupar horas de trabalho, incluindo sugestões aceitas/rejeitadas e tentativas de depuração.

Trabalhos anteriores focaram em tarefas curtas e controladas, ambientes apenas de notebook ou interfaces personalizadas que não capturam as complexidades dos fluxos de trabalho modernos, multiarquivo e de horizonte longo, baseados em agentes.

Metodologia

Os autores apresentam o RECAP (Replay and Examine Captured AI Programming), uma plataforma de código aberto projetada para observar e analisar programação assistida por IA em configurações naturalistas. A arquitetura do sistema consiste em dois componentes principais e uma camada de análise extensível:

1. Arquivador de Interação do Copilot (Extensão do VS Code)

Esta extensão captura passivamente dois fluxos de dados sincronizados sem interromper o fluxo de trabalho do desenvolvedor:

Sessões de Chat: A extensão monitora o armazenamento do workspace do VS Code para arquivos de conversa do GitHub Copilot (JSON). Ela extrai prompts do usuário, respostas da IA, chamadas de ferramentas e Grupos de Edição de Texto (TEGs) — os caminhos exatos de arquivo e conteúdo que a IA propôs inserir. Os dados são enviados para armazenamento em nuvem com um atraso (debounce) de 10 segundos.
Histórico Git Sombra: Um repositório Git oculto (.archiver_shadow/) espelha o workspace do usuário. Ele realiza commits em cada salvamento, criação, exclusão ou renomeação de arquivo. Crucialmente, ele também captura alterações não salvas no editor como commits "SNAPSHOT SUJOS" (DIRTY SNAPSHOT) (atraso de 5 segundos, intervalo máximo de 30 segundos). Isso fornece um histórico comparável (diff-able) muito mais granular do que commits Git padrão.
Privacidade: Identificadores do usuário são hashados SHA-256 no lado do cliente antes da transmissão. O backend impõe prefixos de caminho baseados no hash do usuário autenticado, e a extensão usa URLs pré-assinadas de curta duração para uploads, nunca armazenando credenciais de nuvem.

2. Visualizador de Replay de Sessão (Aplicação Web)

Este componente funde os fluxos de chat e código em uma linha do tempo cronológica unificada:

Reconstrução da Linha do Tempo: Alinha commits do Git sombra com eventos de chat.
Atribuição de Edição: O sistema atribui edições de código a respostas específicas da IA, correspondendo TEGs do JSON do chat contra diffs subsequentes do Git dentro de uma janela de 5 minutos usando comparação difusa ao nível de linha. As edições são classificadas como correspondências completas, parciais (devido a formatação ou modificação pelo desenvolvedor) ou não correspondidas. Edições não correspondidas que excedem limites de tamanho ou velocidade de digitação (>100 WPM) são sinalizadas como prováveis "Fontes Externas".
Interface: O visualizador oferece um layout de quatro painéis: uma árvore de arquivos com emblemas de atribuição de IA, uma visualização unificada de diff estilo GitHub, um painel de chat cronológico e uma barra de linha do tempo codificada por cores (distinguindo edições humanas, edições do Copilot, prompts de chat e ações do agente).
Visão Geral Multi-Aluno: Em ambientes de sala de aula, uma visão agregada permite que instrutores identifiquem outliers com base na dependência de IA ou padrões de trabalho.

3. Camada de Análise Extensível

A plataforma inclui módulos de exemplo que pesquisadores podem estender:

Classificação de Comportamento: Usa um LLM para classificar prompts em 17 códigos em 6 categorias (Planejar, Codificar, Explicar, Avaliar, Configurar, Conversar).
Métricas de Dependência de IA: Calcula a fração de edições atribuídas à IA por sessão de trabalho (definida por lacunas de inatividade de 30 minutos).
Embedding de Prompt: Incorpora prompts usando um transformador de sentenças multilíngue, projeta-os em 2D via t-SNE e os agrupa usando KMeans.

Implantação e Resultados

Os autores implantaram o RECAP em um curso universitário de engenharia de software (Primavera de 2026) envolvendo 41 alunos trabalhando em um projeto de duas semanas para estender recursos baseados em LLM no Zulip.

Dados Capturados:

Participantes: 41 alunos.
Volume: 2.034 prompts e 8.239 edições de código (commits) em 406 sessões de trabalho.
Nota: 29 alunos geraram dados de chat; todos os 41 geraram dados do Git sombra. A discrepância reflete alunos usando ferramentas de IA fora do Chat Copilot do VS Code (por exemplo, ChatGPT baseado em navegador), o que o Git sombra ainda capturou.

Observações Principais:

Distribuição Comportamental: "Explicar" dominou o uso de prompts (44%, com "explicar erro" sozinho em 29%), seguido por Planejar (14%), Codificar (14%), Conversar (13%), Configurar (8%) e Avaliar (6%). Isso sugere que os alunos usaram a IA mais para compreensão do que para geração.
Tendência de Dependência de IA: A fração de edições atribuídas à IA diminuiu significativamente ao longo das sessões de trabalho sucessivas ( $r = -0,222, p < 0,001$ ), indicando uma mudança para longe de código gerado por IA à medida que o projeto avançava.
Padrões Qualitativos: O visualizador de replay revelou padrões de interação invisíveis em logs isolados:
- Loops de colagem de erro: Um aluno ciclando pelo mesmo erro por 11 minutos, com a IA fazendo correções superficiais que levavam a novos erros.
- Uso entre ferramentas: Um aluno usando ChatGPT para estratégia arquitetônica e colando o resultado no Copilot para implementação.
- Geração por agente: Um fluxo de trabalho onde um aluno instruiu o agente com especificações completas, levando à criação autônoma de arquivos, seguida de refinamento iterativo. Isso destacou que fluxos de trabalho "gerar-então-depurar" tiveram sucesso em tarefas mais simples, mas lutaram com recursos complexos e multi-componentes.

Significado e Alegações

O artigo posiciona o RECAP como uma ferramenta necessária para abordar a lacuna na validade ecológica, escala de tarefa e análise replayável na pesquisa de programação assistida por IA.

Contexto Unificado: O RECAP é a primeira plataforma a vincular prompts, sugestões e edições de código granulares em sessões de desenvolvimento estendidas, permitindo a reconstrução de cadeias causais que fontes de dados isoladas não podem suportar.
Instrumentação Escalável: Fornece uma solução escalável e de código aberto para capturar interações de IA agente em configurações naturalistas, indo além das restrições de tarefas curtas baseadas em laboratório.
Habilitação de Pesquisa: A plataforma permite novas análises, como rastrear a evolução da dependência de IA ao longo do tempo e identificar loops de interação específicos (por exemplo, loops de colagem de erro) que informam o design futuro de ferramentas e a pedagogia.

Os autores afirmam explicitamente que a implantação em sala de aula serve como uma demonstração das capacidades da plataforma e não como um estudo empírico independente. As análises apresentadas são ilustrações exploratórias do que os dados vinculados permitem.

Limitações

Os autores notam várias limitações:

Escopo: Atualmente limitado ao VS Code e GitHub Copilot; a extensão para outros IDEs (por exemplo, Cursor) e agentes é trabalho futuro.
Heurísticas de Atribuição: A heurística de "Fonte Externa" pode produzir falsos positivos para grandes blocos de código manuais.
Dependência de Classificador: O classificador de comportamento depende de um LLM comercial, introduzindo custo e inconsistência potenciais.
Generalizabilidade: O estudo de caso é limitado a um único curso; a generalização para desenvolvedores profissionais requer validação adicional.