기술 요약: BUILD-AND-FIND

문제 정의

현재 코딩 에이전트 벤치마크는 주로 행위적 정확성(예: 단위 테스트 통과) 을 평가합니다. 그러나 에이전트가 함수 합성에서 저장소 수준 엔지니어링으로 이동함에 따라, 생성된 코드베이스는 점점 더 중간 산출물로서 기능합니다. 즉, 한 에이전트가 저장소를 작성하고 후속 에이전트들이 이를 검사, 감사 또는 확장해야 하는 상황입니다. 이러한 맥락에서 저장소는 단순히 작업에 대한 답변이 아니라 의사소통 산출물입니다.

이 논문은 다음과 같은 격차를 지적합니다. 저장소가 가시적인 행위 테스트를 통과하더라도 그 행위를 뒷받침하는 설계 의도와 선택 사항을 명확하게 드러내지 못할 수 있다는 점입니다. 생성된 저장소가 의도를 숨긴다면, 코드가 올바르게 작동하더라도 하류 에이전트들에게 추가적인 검사 부담을 부과합니다. 기존 벤치마크는 수정이 시도되기 전에 의도된 결정 사항이 산출물 자체에서 복원 가능한지 여부를 측정하지 못합니다.

방법론: BUILD-AND-FIND 프로토콜

저자들은 BUILD-AND-FIND를 제안합니다. 이는 **산출물 기반 증거 복원 (artifact-evidenced recovery)**을 평가하도록 설계된 프로토콜입니다. 이 접근법은 코드를 구축하는 능력과 해당 코드에서 의도를 복원하는 능력을 분리합니다.

핵심 역할

1. Builder(구축자): 숨겨진 명세 (의도된 행위와 설계 선택 사항 정의) 를 수신하고 독립적인 코드베이스를 생성합니다.
2. Finder(발견자): 생성된 코드베이스와 명세 추적형 객관식 질문 은행 만을 수신합니다. 숨겨진 명세는 접근할 수 없습니다. Finder 는 오직 산출물만을 기반으로 파일을 검사하고, 도구 호출을 수행하며, 질문에 답변해야 합니다.

평가 계층

프로토콜은 세 가지 명확한 평가 계층을 정의합니다:

1. 행위적 정확성: 코드가 테스트를 통과하는가? (기존 벤치마크의 초점).
2. 산출물 측면 의도 복원 가능성: 하류 에이전트가 산출물만으로 의도된 행위와 설계 선택 사항을 복원할 수 있는가? (BUILD-AND-FIND 의 초점).
3. 하류 수정 성공: 후속 에이전트가 저장소를 안전하게 수정할 수 있는가? (향후 연구 과제).

지표 및 통제

프로토콜은 엄격한 해석 계층을 가진 네 가지 주요 지표를 보고합니다:

• 복원 정확도: 질문 은행에 대한 정확한 일치 (exact-match) 정확도.
• 안정성/재현성: 반복 시행 간 답변의 일관성.
• 구현 범위: 산출물에 실제로 구현된 명세 주장의 비율 (구현되지 않은 골드 (gold) 주장으로 인해 Finder 가 불이익을 받지 않도록 감사됨).
• 검사 노력: **새로운 에이전트 검사 바이트 (novel agent inspection bytes)**로 측정 (시스템 프롬프트 및 전송 오버헤드를 제외한 도구 호출을 통해 검색된 새로운 바이트).

중요한 제약 조건: 검사 노력은 복원 정확도와 안정성 게이트를 통과한 후에만 **산출물의 가독성 (legibility)**에 대한 대리 지표로 해석됩니다. 복원에 실패하면 노력은 무의미합니다.

통제 항목:

• 질문 전용: Finder 가 질문만 확인 (일반적인 엔지니어링 사전 지식 측정).
• 명세 전용: Finder 가 명세를 확인 (상한선 답변 가능성 측정).
• 컴파일 실패: 컴파일에 실패한 산출물은 스트레스 진단을 위해 유지됨.
• 증거 감사: 사후 확인을 통해 정답이 사전 지식에 의존하기보다 특정 산출물 증거 (소스 파일, 설정 파일 등) 를 인용하는지 검증.

주요 기여

1. 평가 대상: 산출물 기반 증거 복원을 행위적 정확성과 하류 수정 사이의 별도의 계층으로 정의.
2. Builder-Finder 프로토콜: Builder 가 숨겨진 명세를 코드에 인코딩하고 Finder 가 명세를 보지 않고 이를 디코딩하려는 분업형 프레임워크.
3. 측정 계약: 정확도 (유효성) 와 노력 (가독성) 을 분리하는 엄격한 보고 표준으로, 복원이 신뢰할 수 있을 때만 노력을 분석하도록 보장.
4. 보정 및 공개: 하네스, 작업 (scratch_minidb, scratch_nanoweb), 생성된 산출물, 표준 테이블, 증거 감사를 포함한 포괄적인 공개. Builder-Finder 친화성 및 저사전 지식 민감도에 대한 진단 포함.

실증 결과

이 연구는 두 가지 작업 계열에 걸쳐 12 가지 에이전트 구성 (GPT-5.5, Opus 4.7, Sonnet 4.6, MiMo 변형 포함) 을 평가했습니다.

• 높은 복원 영역: 공개된 고사전 지식 작업 팩에서 복원 정확도는 거의 포화 상태입니다 (예: 산출물 조건부 실행의 경우 약 98.9% 대 질문 전용의 94.5%). 정확도가 높기 때문에 이는 주로 구별 신호보다는 게이트 역할을 합니다.
• 구별자로서의 검사 노력: 복원 게이트를 통과하면 조건부 검사 노력이 산출물 가독성을 비교하는 주요 지표가 됩니다.
  • GPT-5.5는 높은 노력 패널에서 상대 노력 점수 ($R_b$) 가 1.033 으로 가장 낮은 검사 노력 (높은 가독성) 을 보였습니다.
  • MiMo 변형은 일반적으로 더 높은 검사 노력을 필요로 했습니다.
  • Claude Sonnet 4.6과 Opus 4.7은 중간 수준의 노력을 보였으며, 추론 노력 설정 (높음 vs 낮음) 에 따라 일부 변동이 있었습니다.
• 친화성: 가독성은 독자 의존적일 수 있다는 사실이 발견되었습니다. 동일 계열 Builder-Finder 쌍 (예: OpenAI Builder + OpenAI Finder) 은 긍정적인 친화성 잔차를 보여, 교차 계열 쌍보다 의도를 더 쉽게 복원함을 시사합니다.
• 증거 감사: 72 개의 정답 표본 중 65 개가 인용된 산출물 증거 (대부분 소스 파일) 로 "지원"되었으며, 이 설정에서 높은 정확도는 일반적으로 산출물 기반 추론과 상관관계가 있음을 확인했습니다.

중요성과 주장

이 논문은 BUILD-AND-FIND 가 에이전트 관리 코드베이스에 필요한 평가 계약을 수립한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 초점 전환: "작동하는가?"를 넘어 "다른 에이전트가 이해할 수 있는가?"로 이동.
• 가독성 대리 지표: 복원이 안정적이라는 전제 하에, 설계 의도를 얼마나 잘 전달하는지에 대한 측정 가능한 대리 지표로서 검사 노력을 취급.
• 관심사의 분리: 구현 능력과 의도 복원 능력을 명시적으로 분리하여 에이전트 성능에 대한 더 세밀한 분석 가능.
• 감사 가능한 프레임워크: 일반 사전 지식과 산출물 조건부 복원을 분리하는 재현 가능하고 감사 준비가 된 인프라 제공. 이는 벤치마크가 암기나 일반 엔지니어링 지식만으로 해결되는 것을 방지.

저자들은 현재 주장이 공개된 패널과 작업 계열에 한정된다는 점을 겸손하게 언급하며, 이 벤치마크는 런타임 정확성, 보안, 또는 인간 유지보수성을 측정하는 것이 아니라, 생성된 저장소를 외부 메모리 및 의사소통 매체로 사용하는 에이전트의 특정 능력을 측정한다는 점을 강조합니다.