Engineering Reliable Coding Agents: Evaluating and Operating the System Around the Model

당신이 로봇 조수가 고장 난 장난감을 고치려고 노력하는 마술 쇼를 보고 있다고 상상해 보십시오. 당신은 로봇이 드라이버를 집어 들고, 나사를 돌리자, 장난감이 작동하기 시작하는 것을 봅니다. 마치 로봇이 천재처럼 보입니다. 하지만 만약 그 로봇이 사실은 그냥 추측을 하고 있었던 것이라면, 그리고 장난감이 작동하게 된 것이 단지 내부의 숨겨진 스프링이 우연히 제자리로 튕겨 들어갔기 때문이라면 어떨까요? 혹은 만약 로봇이 눈앞에 있는 고장 난 장난감이 아니라 작년의 장난감 사진을 보고 있었던 것이라면 어떨까요? 컴퓨터 과학, 특히 인공지능(AI) 및 소프트웨어 공학 분야의 세계에서, 우리는 이러한 "로봇 조수"(코딩 에이전트라고 불림)를 만들고 코드를 작성하고 수정합니다. 오랫동안 사람들은 로봇의 "두뇌"—AI 모델—가 유일하게 중요한 것이라고 생각했습니다. 두뇌가 똑똑하다면 로봇은 신뢰할 수 있을 것이라고 말이죠. 하지만 이 논문은 두뇌는 거대한 기계의 일부분일 뿐이라고 주장합니다. 진짜 마법(또는 진짜 재앙)은 두뇌를 둘러싼 시스템에서 일어납니다. 즉, 그것이 사용하는 도구들, 그것이 유지하는 기억, 그것이 통과하는 안전 점검, 그리고 그것을 지켜보는 인간들 말입니다. 만약 시스템이 엉망이라면, 아무리 똑똑한 두뇌라도 실패할 것이며, 만약 시스템이 견고하다면 더 단순한 두뇌도 놀라운 일을 해낼 수 있습니다.

Stephanie Jarmak가 작성한 이 논문은 이러한 AI 코딩 시스템을 구축하기 위한 거대한 수리 매뉴얼이자 탐정의 가이드와 같습니다. 저자는 2026년 7월과 8월에 걸쳐 수백 개의 연구, 실제 엔지니어링 로그, 그리고 자신의 실험을 분석하며 구조적인 검토를 수행하여 왜 AI 코딩 에이전트가 서류상으로는 훌륭해 보임에도 불구하고 때때로 실패하는지를 밝혀냈습니다. 주요 발견은 일종한 경종을 울립니다. AI 코딩 에이전트를 단순히 최종 점수나 그 "두뇌"만 보고 판단해서는 안 된다는 것입니다. 대신, 그것을 둘러싼 전체 "하네스(harness)"를 보아야 합니다. 이 논문은 **"신뢰성 의존 체인(reliability dependency chain)"**이라는 개념을 도입합니다. 이것은 도미노 줄과 같다고 생각하십시오. 만약 첫 번째 도미노(성공을 측정하는 방식)가 흔들거린다면, 두 번째 도미노(채점 시스템)가 넘어질 것이고, 이는 세 번째 도미노(복구 계획)를 쓰러뜨릴 것이며, 계속될 것입니다. 이 체인의 어떤 연결 고리라도 약하다면, AI가 아무리 똑똑하더라도 전체 시스템은 신뢰할 수 없게 됩니다.

이 논문은 모든 문제를 해결하기 위해 단순히 AI 모델을 더 크고 똑똑하게 만들기만 하면 된다는 생각에 반대합니다. 저자는 많은 "실패"가 실제로 AI의 잘못이 아니라, 그 주변의 시스템 때문에 발생한다고 제안합니다. 예를 들어, AI에게 작업이 주어졌지만 시스템이 읽을 수 있는 적절한 파일들을 제공하지 않았다면, AI는 실패할 것입니다. 그것이 AI의 잘못일까요? 아닙니다, 시스템의 잘못입니다. 또한 논문은 "시스템을 속이는 것(gaming the system)"에 대해 경고합니다. 만약 AI를 이미 본 적이 있는 퍼즐 세트로 테스트한다면, 그것은 완벽한 점수를 받을 수도 있지만, 그렇다고 해서 새로운 퍼즐을 풀 수 있다는 뜻은 아닙니다. 저자는 많은 공개 점수들이 AI가 정답을 "암기"했거나 테스트가 충분히 엄격하지 않았기 때문에 부풀려졌음을 보여줍니다.

이를 해결하기 위해, 이 논문은 이러한 에이전트를 구축하고 테스트하는 새로운 방법을 제안합니다. 이것은 "완벽한" AI 모델을 찾는 것이 아니라, 견고한 공장을 구축하는 것에 관한 것입니다. 로봇이 자동차를 만드는 공장을 상상해 보십시오. 만약 로봇이 부품을 떨어뜨린다면, 공장은 단지 그것이 일어나지 않은 것처럼 치부해서는 안 됩니다. 공장은 그 낙하를 포착하고, 기록하고, 자동차를 망가뜨리지 않고 다시 시도할 수 있는 시스템을 갖추어야 합니다. 이 논문은 시스템이 안전한지 확인하기 위한 규칙과 도구인 206개의 "신뢰성 기록(reliability records)" 체크리스트를 제공합니다. 여기에는 다음과 같은 것들이 포함됩니다:

• 테스트를 여러 번 실행하기: 동전을 한 번 던지는 것이 공정한지 알려주지 않듯이, AI를 한 번 실행하는 것은 그것이 신뢰할 수 있는지 알려주지 않습니다. 일관성을 확인하려면 여러 번 실행해야 합니다.
• 도구 점검하기: AI가 사용해서는 안 될 도구를 사용하고 있지는 않은지, 혹은 사용하는 도구가 실제로 작동하고 있는지 확인합니다.
• 인간의 감독: 인간이 작업을 확인하되, 인간이 과부하되지 않도록 적절한 순간에만 개입하도록 합니다.
• 안전한 복구: 만약 AI가 충돌하거나 실수를 한다면, 시스템은 진행 상황을 잃거나 더 많은 피해를 입히지 않고 재시작할 수 있어야 합니다.

저자는 자신이 모든 것을 "해결했다"고 말하지 않도록 매우 주의를 기울입니다. 그녀는 자신의 아이디어 중 일부는 실험을 통한 강력한 증거에 기반하고 있는 반면, 다른 것들은 재앙을 피하기 위해 시스템이 어떻게 작동해야 하는가에 대한 논리적 추론에 기반하고 있음을 인정합니다. 그녀는 자신의 규칙들이 세상의 모든 AI에 작동할 것이라고 주장하지 않지만, 엔지니어들이 자신의 시스템을 테스트할 수 있는 견고한 프레임워크를 제공합니다. 그녀는 만약 당신이 은행이나 병원을 위해 코드를 작성하도록 AI를 신뢰하고 싶다면, 단순히 테스트 점수만 봐서는 안 된다고 강조합니다. 당신은 전체 기계를 보고, 도미노를 확인하고, 시스템이 실수를 안전하게 처리할 수 있도록 구축되었는지 확인해야 합니다.

요약하자면, 이 논문은 신뢰할 수 있는 AI 코더를 만드는 것이 초천재 로봇을 찾는 것보다 그 주변에 초신뢰할 수 있는 공장을 만드는 것에 가깝다는 것을 알려줍니다. 이것은 엔지니어들에게 추측을 멈추고 측정을 시작하여, AI가 "고쳤다"라고 말할 때 그것이 실제로 "고쳤으며, 나는 그것을 증명할 수 있다"라는 의미가 되도록 보장하기 위한 가이드입니다. 논문은 결론적으로 AI 코딩의 미래가 단지 더 똑똑한 두뇌에 있는 것이 아니라, 그들을 둘러싼 더 똑똑하고, 더 안전하며, 더 정직한 시스템에 있다고 말합니다.