💬 NLP

RECAP: An End-to-End Platform for Capturing, Replaying, and Analyzing AI-Assisted Programming Interactions

이 논문은 41 명의 학생을 대상으로 한 배포를 통해 검증된 바와 같이, 개발자-AI 상호작용 패턴의 대화형 재생 및 고급 분석을 가능하게 하기 위해 AI 채팅 세션과 세분화된 코드 편집을 수동으로 캡처하고 통합하는 오픈소스 플랫폼인 RECAP 을 소개합니다.

원저자: Keyu He, Qianou Ma, Valerie Chen, Wayne Chi, Tongshuang Wu

게시일 2026-05-06

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Keyu He, Qianou Ma, Valerie Chen, Wayne Chi, Tongshuang Wu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

한 학생이 스마트 주방 조력자를 사용하며 요리하는 법을 배우는 과정을 관찰한다고 상상해 보세요. 만약 당신이 그들이 제출한 최종 요리(코드)만 보거나, 조력자에게 보낸 문자 메시지(채팅 로그)만 읽는다면, 이야기의 전모를 놓치게 됩니다. 그들이 시도했다가 버린 재료들, 조력자의 조언을 무시했던 순간들, 혹은 시간이 지남에 따라 변해간 요리 전략은 보이지 않기 때문입니다.

RECAP은 이러한 맹점을 해결하기 위해 설계된 새로운 도구입니다. 이는 코드 편집기(VS Code) 내에서 AI 코딩 조력자(예: GitHub Copilot)를 사용하는 프로그래머를 위한 '블랙박스' 레코더와 같은 역할을 합니다.

다음은 이를 간단한 부분으로 나누어 설명한 작동 방식입니다:

1. '그림자' 레코더 (카메라)

프로그래머의 컴퓨터를 분주한 주방이라고 생각해 보세요. 보통 프로그래머는 '커밋'(commit)을 누를 때만 작업을 저장합니다. 이는 매시간 요리의 사진을 찍는 것과 비슷합니다. 하지만 그 사이에 일어난 모든 다지기, 맛보기, 그리고 태우는 과정은 놓치게 됩니다.

RECAP은 Copilot Interaction Archiver라는 작고 보이지 않는 확장 프로그램을 설치합니다.

채팅을 감시합니다: 학생이 AI 에게 묻는 모든 질문과 AI 가 제공하는 모든 답변을 기록합니다.
코드를 감시합니다: 학생이 저장 버튼을 누를 때마다, 혹은 아직 저장하지 않고 단순히 타이핑하고 있을 때조차 코드의 '그림자' 버전을 만들어 스냅샷을 저장합니다.
마법의 연결: 두 가지를 연결합니다. 예를 들어, 오후 2 시에 학생이 AI 에게 특정 수정을 요청했고, 오후 2 시 2 분에 그 정확한 수정이 코드에 나타났다는 것을 파악합니다. 즉, '프롬프트'와 '결과'를 연결합니다.

2. 시간 여행 뷰어 (재플레이)

데이터가 수집되면 연구자들은 세션 재생 뷰어를 사용할 수 있습니다. 이는 비디오 게임의 재플레이 기능과 유사하지만, 코딩을 위한 것입니다.

타임라인: 파일 목록만 보는 것이 아니라, 하나의 다채로운 타임라인을 보게 됩니다.
- 파란 점은 AI 에게 한 질문들입니다.
- 노란 점은 AI 가 제안한 코드입니다.
- 초록 점은 인간이 직접 입력한 코드입니다.
** walkthrough**: 연구자는 재생을 눌러 학생의 전체 세션이 펼쳐지는 모습을 지켜볼 수 있습니다. 그들은 이렇게 볼 수 있습니다: "아, 여기서 학생이 AI 에게 버그 수정을 요청했고, AI 가 해결책을 제안했지만, 학생은 이를 거절하고 스스로 시도했다가 실패한 뒤 다시 AI 로 돌아갔구나."

3. 무엇을 발견했나? (수사 작업)

연구자들은 이 도구를 두 주 동안 프로젝트를 진행한 41 명의 학생이 참여한 대학 수업에서 테스트했습니다. 그들은 단순히 학생들이 AI 를 사용한 횟수를 세는 것을 넘어, 재생 기능을 통해 그렇지 않으면 보이지 않았을 흥미로운 패턴들을 포착했습니다:

'막힌' 루프: 한 학생은 11 분 동안 루프에 갇혀 있었습니다. 오류 메시지를 붙여넣으면 AI 가 수정해 주었고, 그다음 새로운 오류가 나타났으며, 그걸 다시 붙여넣고 이 과정이 반복되었습니다. 재생 기능은 이 순환적인 고난을 명확히 보여주었지만, 최종 코드 파일은 마치 완성된 프로젝트처럼 보였을 뿐입니다.
'프랑켄슈타인' 방식: 한 학생은 ChatGPT 라는 AI 를 이용해 큰 계획을 세운 뒤, 그 계획을 Copilot 이라는 다른 AI 에게 붙여넣어 코드를 작성했습니다. 재생 기능은 이 두 가지 다른 도구를 연결하여 학생들이 어떻게 AI 조력자들을 섞고 조합하는지 보여주었습니다.
운전 배우기: 프로젝트가 진행됨에 따라 학생들은 실제 코드를 작성하는 데 AI 에게 의존하는 정도가 줄어 들었습니다. 대신 개념 설명과 계획 수립에 AI 를 더 많이 사용했는데, 이는 그들이 AI 에게 핸들을 맡기는 것이 아니라 스스로 운전을 배우고 있음을 시사합니다.

왜 이것이 중요한가

RECAP 이전까지 연구자들은 범죄 현장 (최종 코드) 이나 용의자의 일기 (채팅 로그) 만 보고 사건을 해결하려는 탐정들과 같았습니다. 하지만 실제 사건은 결코 보지 못했기 때문입니다.

RECAP 은 완전한 영화를 제공합니다. 이를 통해 교육자와 연구자들은 장기간에 걸쳐 인간과 AI 가 어떻게 협력하는지를 정확히 볼 수 있게 되며, 최종 결과물로 이어지는 messy 한 시행착오 과정을 드러낼 수 있습니다.

중요한 참고 사항: 이 논문은 이 도구가 현재 VS Code와 GitHub Copilot을 위해 설계되었음을 강조합니다. 이는 사람들이 어떻게 배우고 일하는지 연구하기 위한 교육자와 연구자들을 위한 오픈소스 도구일 뿐, 학생들을 평가하거나 의료 기기로 사용되는 도구가 아닙니다. 수집된 데이터는 학생의 프라이버시를 보장하기 위해 엄격하게 익명화되고 보호됩니다.

기술 요약: RECAP – AI 지원 프로그래밍 상호작용을 포착, 재생, 분석하는 엔드투엔드 플랫폼

문제 정의

AI 코딩 어시스턴트 (예: GitHub Copilot, Cursor) 와 개발자의 상호작용을 이해하려면 고립된 채팅 로그나 Git 히스토리 이상의 정보가 필요합니다. 현재 데이터 소스는 어떤 특정 프롬프트가 어떤 코드 수정으로 이어졌는지, 어떤 제안이 폐기되었는지, 그리고 시간이 지남에 따라 전략이 어떻게 진화했는지 등 완전한 인과적 맥락을 재구성하는 데 실패합니다. 이러한 격차는 "에이전트 (agentic)" 코딩으로의 전환으로 인해 더욱 심화되는데, 단일 프롬프트가 여러 파일을 아우르고 외부 도구를 호출하며 많은 턴에 걸쳐 반복될 수 있기 때문입니다.

기존 계측 (instrumentation) 을 방해하는 두 가지 주요 과제가 있습니다:

연결성 (Linkage): 채팅 로그와 Git 히스토리는 공유 식별자 없이 별개의 시스템에 존재하여 프롬프트와 결과적인 수정 간의 인과적 연결이 끊깁니다.
장기적 범위 (Long Horizon): 개발 세션은 종종 몇 시간에서 며칠에 걸쳐 진행되어 일반적인 실험실 연구의 범위를 훨씬 초과합니다. 표준 버전 관리 시스템은 단일 커밋 내에 포함된 개별 수정을 분리할 수 있는 시간적 해상도가 부족합니다. 하나의 커밋에는 수 시간의 작업이 포함되어 있을 수 있으며, 여기에는 승인되거나 거부된 제안 및 디버깅 시도가 포함됩니다.

이전 연구들은 짧은 통제된 작업, 노트북 전용 환경, 또는 현대적인 다중 파일 및 장기적 에이전트 워크플로우의 복잡성을 포착하지 못하는 커스텀 인터페이스에 초점을 맞춰 왔습니다.

방법론

저자들은 자연스러운 환경에서 AI 지원 프로그래밍을 관찰하고 분석하도록 설계된 오픈소스 플랫폼인 RECAP(Replay and Examine Captured AI Programming) 을 제시합니다. 시스템 아키텍처는 두 가지 핵심 구성 요소와 확장 가능한 분석 레이어로 구성됩니다:

1. Copilot 상호작용 아카이버 (VS Code 확장 프로그램)

이 확장 프로그램은 개발자의 워크플로우를 방해하지 않고 두 가지 동기화된 데이터 스트림을 수동적으로 포착합니다:

채팅 세션: 확장 프로그램은 GitHub Copilot 대화 파일 (JSON) 을 위해 VS Code 워크스페이스 저장소를 모니터링합니다. 사용자 프롬프트, AI 응답, 도구 호출, 그리고 텍스트 편집 그룹 (TEGs) — AI 가 삽입을 제안한 정확한 파일 경로 및 내용 — 을 추출합니다. 데이터는 10 초 디바운스 (debounce) 로 클라우드 저장소에 업로드됩니다.
그림자 Git 히스토리: 숨겨진 Git 저장소 (.archiver_shadow/) 는 사용자의 워크스페이스를 미러링합니다. 파일 저장, 생성, 삭제, 또는 이름 변경이 발생할 때마다 커밋됩니다. 중요한 점은 이 저장소가 저장되지 않은 편집기 내 변경 사항을 "DIRTY SNAPSHOT" 커밋 (5 초 디바운스, 최대 30 초 간격) 으로 포착한다는 것입니다. 이는 표준 Git 커밋보다 훨씬 세분화된 차분 (diff) 가능한 히스토리를 제공합니다.
개인정보 보호: 사용자 식별자는 전송 전 클라이언트 측에서 SHA-256 해시됩니다. 백엔드는 인증된 사용자의 해시를 기반으로 경로 접두사를 강제하며, 확장 프로그램은 업로드 시 짧은 수명의 서명된 URL 을 사용하고 클라우드 자격 증명을 절대 보관하지 않습니다.

2. 세션 재생 뷰어 (웹 애플리케이션)

이 구성 요소는 채팅과 코드 스트림을 통합된 시간순 타임라인으로 병합합니다:

타임라인 재구성: 그림자 Git 커밋과 채팅 이벤트를 정렬합니다.
편집 귀속: 5 분 창 내에서 후속 Git 차분과 채팅 JSON 의 TEG 를 퍼지 라인 단위 비교를 통해 매칭하여 코드 편집을 특정 AI 응답에 귀속시킵니다. 편집은 전체 일치, 부분 일치 (포맷팅 또는 개발자 수정으로 인한), 또는 미일치로 분류됩니다. 크기 임계값을 초과하거나 타이핑 속도 제한 (>100 WPM) 을 초과하는 미일치 편집은 잠재적인 "외부 소스"로 플래그가 지정됩니다.
인터페이스: 뷰어는 AI 귀속 배지가 있는 파일 트리, GitHub 스타일의 통합 차분 뷰, 시간순 채팅 패널, 그리고 색상 코딩된 타임라인 바 (인간 편집, Copilot 편집, 채팅 프롬프트, 에이전트 동작을 구분) 로 구성된 4 패널 레이아웃을 제공합니다.
다중 학생 개요: 교실 환경에서 집계 뷰는 강사가 AI 의존성이나 작업 패턴에 따라 이상치를 식별할 수 있게 합니다.

3. 확장 가능한 분석 레이어

플랫폼에는 연구자가 확장할 수 있는 예시 모듈이 포함되어 있습니다:

행동 분류: LLM 을 사용하여 프롬프트를 6 개 카테고리 (Plan, Code, Explain, Eval, Setup, Converse) 에 걸쳐 17 개의 코드로 분류합니다.
AI 의존성 지표: 작업 세션당 (30 분 비활동 간격으로 정의됨) AI 에 귀속된 편집의 비율을 계산합니다.
프롬프트 임베딩: 다국어 문장 트랜스포머를 사용하여 프롬프트를 임베딩하고, t-SNE 를 통해 2D 로 투영한 후 KMeans 를 사용하여 클러스터링합니다.

배포 및 결과

저자들은 Zulip 에서 LLM 기반 기능을 확장하는 2 주 프로젝트에 종사한 41 명의 학생이 참여한 2026 년 봄학기 대학 소프트웨어 공학 과정에서 RECAP 을 배포했습니다.

포착된 데이터:

참가자: 41 명의 학생.
규모: 406 개의 작업 세션에 걸쳐 2,034 개의 프롬프트와 8,239 개의 코드 편집 (커밋).
참고: 29 명의 학생이 채팅 데이터를 생성했고, 41 명 모두 그림자 Git 데이터를 생성했습니다. 이 차이는 VS Code Copilot Chat 외부 (예: 브라우저 기반 ChatGPT) 에서 AI 도구를 사용한 학생들을 그림자 Git 이 여전히 포착했기 때문입니다.

주요 관찰:

행동 분포: "설명 (Explain)"이 프롬프트 사용의 44% 를 차지했으며 ("오류 설명"만 29%), 이어 계획 (14%), 코드 작성 (14%), 대화 (13%), 설정 (8%), 평가 (6%) 순이었습니다. 이는 학생들이 생성보다는 이해를 위해 AI 를 더 많이 사용했음을 시사합니다.
AI 의존성 추세: AI 에 귀속된 편집의 비율은 successive 작업 세션에 걸쳐 유의미하게 감소했습니다 ( $r = -0.222, p < 0.001$ ). 이는 프로젝트가 진행됨에 따라 AI 생성 코드에서 벗어나는 전환을 나타냅니다.
정성적 패턴: 재생 뷰어는 고립된 로그에서는 보이지 않는 상호작용 패턴을 드러냈습니다:
- 오류 붙여넣기 루프: 한 학생이 11 분 동안 동일한 오류를 순환하며 AI 가 새로운 오류로 이어지는 피상적인 수정을 수행한 사례.
- 교차 도구 사용: 한 학생이 ChatGPT 를 사용하여 아키텍처 전략을 수립하고 그 결과를 Copilot 에 붙여넣어 구현한 사례.
- 에이전트 생성: 학생이 에이전트에 전체 사양을 프롬프트하여 자율적인 파일 생성을 유도한 후 점진적으로 개선하는 워크플로우. 이는 "생성 후 디버깅" 워크플로우가 단순한 작업에서는 성공적이었으나 복잡하고 다중 구성 요소 기능을 처리하는 데는 어려움을 겪었음을 강조했습니다.

중요성 및 주장

이 논문은 RECAP 을 AI 지원 프로그래밍 연구에서 생태학적 타당성, 작업 규모, 재생 가능한 분석의 격차를 해결하는 데 필요한 도구로 위치시킵니다.

통합된 맥락: RECAP 은 확장된 개발 세션에 걸쳐 프롬프트, 제안, 세분화된 코드 편집을 연결하는 최초의 플랫폼으로, 고립된 데이터 소스에서는 지원할 수 없는 인과적 사슬의 재구성을 가능하게 합니다.
확장 가능한 계측: 이는 실험실 기반의 짧은 작업의 제약을 넘어 자연스러운 환경에서 에이전트 AI 상호작용을 포착하기 위한 확장 가능한 오픈소스 솔루션을 제공합니다.
연구 활성화: 이 플랫폼은 시간에 따른 AI 의존성의 진화를 추적하고 향후 도구 설계 및 교육학을 informing 하는 특정 상호작용 루프 (예: 오류 붙여넣기) 를 식별하는 것과 같은 새로운 분석을 가능하게 합니다.

저자들은 교실 배포가 독립적인 실증 연구가 아니라 플랫폼 기능의 시연으로 제공된다고 명시적으로 밝힙니다. 제시된 분석은 연결된 데이터가 가능하게 하는 것을 보여주는 탐색적 예시입니다.

한계

저자들은 몇 가지 한계를 지적합니다:

범위: 현재 VS Code 와 GitHub Copilot 으로 제한되어 있으며, 다른 IDE (예: Cursor) 및 에이전트로의 확장은 향후 과제로 남아 있습니다.
귀속 휴리스틱: "외부 소스" 휴리스틱은 대규모 수동 코드 블록의 경우 오검출 (false positives) 을 일으킬 수 있습니다.
분류기 의존성: 행동 분류기는 상업용 LLM 에 의존하여 잠재적인 비용과 불일치를 초래합니다.
일반화 가능성: 사례 연구는 단일 과정으로 제한되며, 전문 개발자로의 일반화는 추가적인 검증이 필요합니다.