Understanding Dominant Themes in Reviewing Agentic AI-authored Code

새로운 종류의 수습 프로그래머를 상상해 보세요. 이들은 인간이 아닙니다. 스스로 전체 소프트웨어 코드 덩어리를 작성할 수 있는 AI 에이전트(디지털 로봇과 같은)입니다. 이들은 빠르고, 지치지 않으며, 도움을 주고자 하는 의욕이 넘칩니다. 하지만 새로운 직원과 마찬가지로, 이들의 작업이 실제로 사용되기 전에는 이를 확인해 줄 상사가 필요합니다. 소프트웨어 세계에서 이 "상사의 확인"을 **코드 리뷰(Code Review)**라고 부릅니다.

이 논문은 AI 수습생들이 자신들의 작업물을 검토받기 위해 제출할 때 어떤 일이 일어나는지에 대한 거대한 조사 보고서와 같습니다. 연구진은 다음과 같은 질문을 던졌습니다: 인간 검토자들은 실제로 무엇에 대해 불평하고 있는가? 그리고 또 다른 AI를 사용하여 이러한 불만 사항들을 자동으로 카테고리별로 분류할 수 있을까?

연구 결과는 다음과 같이 일상적인 비유를 사용하여 정리되었습니다:

1. 설정: 디지털 숙제의 산더 Mountain

연구진은 실제 세계의 프로젝트인 GitHub에서 AI 에이전트들이 제출한 거대한 "숙제" 더미를 살펴보았습니다.

• 규모: 연구진은 3,000개 이상의 서로 다른 프로젝트에서 발생한 20,000개에 가까운 인간 검토자의 댓글을 분석했습니다.
• 문제점: 인간들이 과부하 상태에 빠지고 있습니다. AI가 코드를 매우 빠르게 작성할 수 있기 때문에 작업량은 엄청나게 많아졌고, 이로 인해 많은 AI 제출물들이 거절되거나 "리뷰 대기열"에 너무 오래 머물러 있습니다.

2. 도구: 종이를 채점하도록 로봇 가르치기

먼저, 연구진은 인간 검토자들이 무엇에 대해 이야기하고 있는지 이해할 방법이 필요했습니다. 모든 댓글을 일일이 직접 읽을 수는 없었기 때문입니다.

• 분류 체계 (채점 기준표): 연구진은 고급 AI 도구를 사용하여 모든 댓글을 읽고 이를 12개의 뚜렷한 카테고리로 그룹화했습니다. 이것은 마치 교사가 채점 기준표를 만드는 것과 같습니다. 단순히 "잘했음" 또는 "못했음"이라고 말하는 대신, 다음과 같은 구체적인 바구니를 만들었습니다:

  • 보안 (Security): "이 코드는 해커로부터 안전한가?"
  • 테스트 (Testing): "이것이 작동한다는 것을 증명할 테스트를 작성했는가?"
  • 스타일 (Style): "포맷팅이 지저분합니다."
  • 문서 (Docs): "다음 사람을 위한 지침 작성을 잊었습니다."
  • 리팩터링 (Refactor): "작업은 수행했지만, 다소 서투르게 했습니다. 깔끔하게 정리해 봅시다."

• 테스트: 그 후 연구진은 오픈 소스 AI(하나의 "학생" AI)에게 댓글을 읽고 이 12개의 바구니로 분류하도록 요청했습니다.

• 결과: 학생 AI는 놀라울 정도로 잘 해냈습니다! 이 AI는 인간 전문가와 약 78%의 일치율을 보였습니다. 이는 방대한 피드백 더미를 분류하는 신뢰할 수 있는 조수로 활용하기에 충분한 수준이었습니다.

3. 발견: 검토자들은 실제로 무엇을 중요하게 생각하는가?

데이터를 분류한 후, 연구진은 인간 검토자들이 무엇에 가장 집중하고 있는지 살펴보았습니다.

• 주요 세 가지: 가장 흔한 불만 사항은 로직/기능(Logic/Features) (의도한 대로 작동하는가?), 리팩터링(Refactoring) (지저한 코드 정리), 그리고 문서화(Documentation) (가이드 작성)였습니다.
• "다듬기" vs "핵심": 흥อน하게도, 검토자들은 핵심 로직만 제대로 작동한다면 "다듬기" 문제(예: 나쁜 포맷팅이나 누락된 주석)가 있는 코드도 종종 수용했습니다. 그들은 나중에 그것들을 수정할 용의가 있었습니다.
• 결정적 결함 (Deal-Breakers): 하지만 코드가 테스트(작동 증거 없음), 보안(잠재적 취약점), 또는 빌드/구성(실행조차 되지 않음) 측면에서 실패할 경우, 해당 프로젝트는 거절될 확률이 훨씬 높았습니다.

4. "통과" vs "탈락"

연구진은 수용된(Merged) 프로젝트와 거절된(Rejected) 프로젝트의 리뷰를 비교했습니다.

• "통과" 패턴: 성공적인 프로젝트들은 주로 문서화나 스타일링에 관한 댓글을 포함하고 있었습니다. 이는 핵심 로직이 탄탄하다면 검토자들이 "예쁘게 만드는" 작업에 시간을 쓰는 것을 기꺼이 수용한다는 것을 시사합니다.
• "탈락" 패턴: 거절된 프로젝트들은 보안 위험, 테스트 누락, 그리고 빌드 오류에 의해 집중적으로 지적되었습니다.
  • 비유: 요리사가 새로운 레시피를 제출한다고 상상해 보세요. 만약 레시피에 재료 목록이 빠져 있거나(Docs) 글씨체가 못생겼다면(Style), 헤드 셰프는 "그 부분은 수정해 오세요, 그럼 받아줄게요"라고 말할 수 있습니다. 하지만 레시피에 "독 한 컵을 넣으시오"(Security)라고 적혀 있거나 "오븐이 폭발함"(Build error)이라고 되어 있다면, 헤드 셰프는 즉시 그것을 쓰레기통에 던져버릴 것입니다.

5. 시사점

이 논문은 AI 에이전트가 코드를 빠르게 뽑아내는 데는 뛰어나지만, 여로 인간이 잡아내야 하는 특정한 유형의 실수를 여전히 저지른다는 결론을 내립니다.

• 병목 현상: 현재 리뷰 프로세스가 병목 구간입니다. AI는 너무 많이 쓰고, 인간은 그것을 모두 확인할 만큼 빠르지 않습니다.
• 해결책: 이 연구는 AI 에이전트가 인간에게 도움을 요청하기 전에 먼저 **자기 점검(Self-checking)**을 하는 능력을 갖춰야 한다고 제안합니다. 그들은 제출하기 전에 스스로 "테스트"를 실행하고 자신의 "보안"을 체크해야 합니다.
• 미래: AI 코드가 왜 거절되는지(주로 보안 및 테스트 공백)를 정확히 이해함으로써, 우리는 AI 에이전트를 더 똑똑하게 훈련할 수 있으며, 이는 "노이즈"를 줄이고 그들을 인간 개발자들에게 더 나은 팀원으로 만들어 줄 것입니다.

요약하자면: AI는 빠르지만 때때로 부주의한 수습생입니다. 인간은 그 실수를 고치기 위해 애쓰는 지친 매니저들입니다. 이 연구는 매니저들이 정확히 무엇 때문에 화를 내고 있는지 알아냈으며, 매니저들이 더 큰 문제에 집중할 수 있도록 AI를 사용하여 그 불만 사항들을 분류할 수 있음을 증명했습니다.