기술 요약: 에이전트 코딩에는 자율성이 아닌 능동성이 필요하다

1. 문제 제기

소프트웨어 개발의 지형은 인라인 코드 완성에서 리포지토리를 편집하고, 풀 리퀘스트를 관리하며, 예약된 루틴을 실행할 수 있는 자율적 코딩 에이전트로 이동하고 있습니다. 현재 시스템은 상당한 자율성(감독 없이 행동할 수 있는 능력) 을 보여주지만, 능동성에 대한 명확한 정의와 평가 프레임워크는 부재합니다.

핵심 문제는 에이전트가 언제 행동할지, 무엇을 보여줄지, 그리고 언제 침묵할지 결정할 수 있는 메커니즘이 없다는 점입니다. 현재 에이전트들은 종종 명시적 프롬프트나 고정된 일정 (레벨 2) 에 따라 작동하며, "활발한 상태"와 "유용한 상태"를 구분하지 못합니다. 다음 사항에 대한 명확한 설명이 없습니다:

• 소프트웨어 개발 맥락에서 능동성이란 무엇을 의미하는가.
• 능동성이 단순한 자율성과 어떻게 다른가.
• 능동적인 장기 과제 (long-horizon tasks) 가 충족해야 할 수용 기준은 무엇인가.
• 자발적인 에이전트 행동이 단순히 방해가 되는 것이 아니라 유익한지를 결정하는 지표는 무엇인가.

이러한 정의가 없으면, 에이전트의 "통찰 정책"(다음에 무엇이 중요한지에 대한 의사결정 과정) 이 효과적인지 평가할 수 없습니다.

2. 방법론 및 프레임워크

저자들은 호비츠 (Horvitz, 1999) 의 혼합 주도 상호작용과 핸들러 (Händler, 2023) 의 자율성 분류 체계에 기반한 이론적 프레임워크를 제안합니다. 방법론은 세 가지 주요 구성 요소로 이루어집니다:

A. 의사결정 이론적 공식화

이 논문은 에이전트가 중단 비용을 최소화하면서 기대 효용을 극대화하는 행동 $a^*$를 선택하는 의사결정 이론 방정식을 사용하여 능동적 행동을 모델링합니다:
$$a^* = \arg\max_{a \in A} \mathbb{E}_{p(o|a,s_t,E_t)} [U(o; \theta)] - \text{Cost}_{int}(s_t, a; \theta)$$

• 행동 공간 ($A$): 알림, 질문, 초안 작성을 포함하며, 중요하게는 침묵 유지를 포함합니다.
• 상태 ($s_t$): 개발자 상태 (열려 있는 버퍼, 캘린더, 스프린트 마감일).
• 이벤트 스트림 ($E_t$): 코드, 프로젝트, 커뮤니케이션 이벤트의 연속적인 스트림.
• 중단 비용 ($\text{Cost}_{int}$): 개발자의 집중도, 워크플로우 단계, 복구 시간에 기반한 가변 비용.
• 통찰: 맥락 기반의 시간 민감적 가설과 행동하거나 침묵하기로 하는 결정을 짝지은 것으로 정의됩니다.

B. 능동성의 3 단계 분류 체계

저자들은 의사결정 방정식의 항들을 계산하는 능력에 따라 에이전트 코딩 시스템을 세 단계로 분류합니다:

1. 레벨 1 (반응형): 에이전트는 명시적 프롬프트가 있을 때만 실행됩니다. 요청 사이에 지속적인 환경적 존재나 시간 모델이 없습니다.
2. 레벨 2 (예약형): 에이전트는 일정이나 사전 정의된 트리거 (예: 웹훅, GitHub 이벤트) 에 따라 실행됩니다. 출력을 필터링하거나 순위 매길 수는 있지만, 개발자별 교차 컨텍스트 중단 정책을 학습하지는 않습니다. 침묵은 학습된 선택이 아니라 단순히 트리거가 없는 상태일 뿐입니다.
3. 레벨 3 (상황 인식형): 에이전트는 이벤트 스트림을 지속적으로 모니터링하고, 전체 행동 공간 (여기에는 침묵 유지 포함) 에 걸쳐 효용과 중단 비용을 계산하며, 개발자 피드백에 기반하여 정책 ($\theta$) 을 업데이트합니다. 에이전트는 무엇을 보여줄지, 언제 보여줄지, 그리고 무엇을 보여줄지가 올바른 행동인지 여부를 결정합니다.

C. 평가 프로토콜

이 논문은 소프트웨어 개발에 능동적 사용자 시뮬레이션(Nathani 등, 2026) 을 적용할 것을 제안합니다. 최종 작업 완료 점수 (SWE-Bench 와 같이) 를 매기는 대신, 평가는 통찰 스트림에 초점을 맞춥니다.

• 추적 수집: 리포지토리 diff, CI 로그, 커뮤니케이션, IDE 상태를 정렬하는 타임스탬프가 찍힌 재생 가능한 개발자 워크플로우 추적.
• 시나리오 구조: 장기 시나리오는 약한 신호, 방해 요소, 확인 증거, 그리고 침묵이 올바른 행동인 순간들을 포함합니다.
• 지표:
  1. 통찰 의사결정 품질 (IDQ): 에이전트가 올바른 시간에 올바른 행동 (알림, 질문, 초안 작성, 침묵) 을 선택했는지 점수화합니다.
  2. 맥락 기반 점수 (CGS): 제시된 통찰이 복구 가능한 증거 (파일, diff, 로그) 로 뒷받침되는지, 그리고 메시지가 해당 증거에 충실한지 측정합니다.
  3. 학습 상승 (LL): 정책이 개발자 피드백에 적응할 때 IDQ 가 얼마나 개선되는지를 고정된 정책과 비교하여 측정합니다.

3. 주요 기여

이 논문은 네 가지 구체적인 기여를 합니다:

1. 3 단계 분류 체계: 반응형, 예약형, 상황 인식형 에이전트를 구분하여 자율성과 능동성을 공식적으로 분리합니다.
2. 비교 감사: Cursor, GitHub Copilot, Jules, Claude Code, LangChain 참조 아키텍처 등 5 가지 현대 코딩 에이전트를 5 가지 실용적 기준 (O1–O5) 에 대해 분석합니다.
   • 발견: 현재 배포된 에이전트들은 레벨 2 주변에 군집합니다. 중단 비용 계산 (O1), 학습된 행동으로서의 명시적 침묵 (O2), 개발자별 피드백에 기반한 정책 업데이트 (O3) 를 공개적으로 문서화한 사례는 없습니다.
3. 프로토타입 레벨 3 엔진: "통찰" 단위를 중심으로 한 개념적 아키텍처로, 개발자 정신 모델을 유지하고 응답에서 학습합니다.
4. 평가 지표: 능동적 행동을 측정하기 위한 주요 단위로 IDQ, CGS, LL 를 제안하며, 작업 완료에서 통찰 정책의 품질로 초점을 이동시킵니다.

4. 결과 및 발견

이 논문은 배포된 레벨 3 시스템에서 측정된 실험적 결과는 제시하지 않습니다. 이는 입장과 측정 제안입니다. 그러나 기존 시스템에 대한 감사는 다음과 같은 발견을 낳습니다:

• "능동성 격차": Cursor Automations 과 Claude Code Routines 와 같은 시스템이 예약된 작업 (레벨 2) 을 지원하지만, 중단 비용을 계산하거나 침묵을 명시적이고 학습된 행동으로 취급하는 증거는 없습니다.
• O1-O5 감사:
  • O1 (중단 비용): 배포된 에이전트 중 이를 계산한다는 문서는 없습니다.
  • O2 (명시적 침묵): 행동 공간에서 학습된 행동으로서의 침묵을 문서화한 에이전트는 없습니다.
  • O3 (피드백 업데이트): 증거는 미약합니다. 일부 시스템은 메모리를 노출하지만, 표면화 결정에 미치는 영향은 불분명합니다.
  • O4 (교차 컨텍스트): 여러 컨텍스트 범주를 수용하는 것에 대한 부분적 증거가 존재합니다.
  • O5 (개시 채널): 광범위하게 충족됨; 에이전트들은 별도의 도구 없이 메시지를 표시할 수 있습니다.
• 현재 상태에 대한 결론: 최전선은 새로운 기능을 발명하는 것이 아니라, 소프트웨어 개발의 특수성, 특히 언제 방해할지 그리고 언제 침묵할지에 대한 판단에 기존 상호작용 패턴을 적응시키는 데 있습니다.

5. 중요성 및 주장

이 논문은 차세대 코딩 에이전트는 그들이 얼마나 많은 작업을 완료하는지로 평가되는 것이 아니라, 통찰 정책의 품질과 개선으로 평가되어야 한다고 주장합니다.

• 패러다임의 전환: 능동성은 단순한 자동화가 아닌 "혼합 주도 협업"으로 간주되어야 합니다. 에이전트가 어떤 기여가 주목받을 가치가 있는지, 어떤 증거가 이를 신뢰할 수 있게 만드는지, 그리고 피드백 후 어떻게 적응할지 학습한다면 그 에이전트는 능동적입니다.
• 책임성: 이 프레임워크는 능동성을 검증 가능하게 만듭니다. "통찰"을 정의하고 IDQ, CGS, LL 를 측정함으로써, 이 분야는 제품 라벨을 넘어 측정 가능한 행동으로 이동할 수 있습니다.
• 디자인 시사점: 진정한 레벨 3 에이전트는 지연된 통찰을 검사 가능하게 만드는 인터페이스가 필요하며, 개발자가 제안을 수락, 편집 또는 거부할 수 있게 함으로써 학습에 필요한 피드백 루프를 제공합니다.
• 겸손함: 저자들은 이것이 하나의 제안임을 인정합니다. 시뮬레이션된 개발자는 실제 사용자와 다를 수 있으며, 실시간 작업에서의 중단 발견은 비동기 메시지로 깔끔하게 이전되지 않을 수 있습니다. 이 논문은 불확실성을 보고하고, 능동성을 단일 벤치마크 점수가 아닌 실제 개발자를 포함하는 속성으로 취급할 것을 옹호합니다.

요약하자면, 이 논문은 에이전트 코딩이 성숙하기 위해서는 "더 많이 하기"에서 "더 잘 결정하기"로 진화해야 한다고 주장하며, 특히 침묵의 전략적 가치와 중단 정책의 지속적인 적응에 초점을 맞춥니다.