Closing the Verification Loop in Generative Development: An External Transactional State Machine and a Field Evaluation of Its Economics and Convergence
본 논문은 재현 가능한 이중 검증 준비 기준을 강제하기 위해 외부 트랜잭션 상태 머신을 구현하는 것이 생성형 개발을 의견 기반의 개방 루프 프로세스에서 다양한 모델 간 기능적 동등성을 달성하고 궁극적으로 총 비용을 절감하며 인간 개입 제거를 가능하게 하는 폐쇄 루프 시스템으로 변모시킨다는 점을 입증한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
현대적인 소프트웨어 생성의 지형 속에서, 새로운 종류의 노동자가 등장했다. 바로 컴퓨터 코드를 작성하는 인공지능이다. 이 시스템들은 인간의 작업 설명을 받아 놀라운 속도로 작동하는 프로그램을 만들어낼 수 있다. 그러나 근본적인 문제가 남아 있다. 기계는 코드를 생성할 수는 있지만, 작업이 진정으로 완료되었는지를 신뢰성 있게 판단하지는 못한다는 점이다. 현재의 과정은 종종 인간이나 기계 스스로가 결과물이 제대로 작동하는지 추측하는 "쓰고 믿기(write and believe)"의 문제로, 이는 숨겨진 오류와 나중에 발생할 값비싼 수정 작업을 초래한다. 이러한 불확실성은 고객이 원하는 것과 실제 소프트웨어가 수행하는 것 사이의 간극을 만든다. 이를 해결하기 위해, 연구자들은 엄격한 외부 시스템이 공정한 판사 역할을 수행하여, "완료"라는 주관적인 의견을 검증 가능한 사실로 바꿀 수 있을지 탐구하고 있다.
독립 학자인 안톤 N. 스몰린(Anton N. Smolin)은 이 아이디어를 테스트하기 위해 대규모 현장 실험을 수행했다. 그들은 소프트웨어 개발을 위한 영구적이고 변하지 않는 심판 역할을 할 전문화된 시스템, 즉 '외부 트랜잭션 상태 머신(external transactional state machine)'을 구축했다. 대화 중에만 존재하다가 채팅이 끝나면 사라지는 일반적인 도구들과 달리, 이 머신은 요구사항과 게임의 규칙을 영원히 소유한다. 이 머신은 소프트웨어가 통과해야 하는 엄격한 체크리스트를 저장하고, 결과가 단순히 운 좋은 우연이 아님을 보장하기 위해 모든 테스트를 깨끗한 환경에서 두 번씩 실행하며, "준비됨(ready)" 또는 "준비되지 않음(not ready)"이라는 서명된 판결을 내린다. 이 머신은 추측하지 않고 측정한다. 만약 소프트웨어가 실패하면, 머신은 구체적인 실패 이유를 명시하며, 규칙이 충족될 때까지 프로세스가 반복된다.
이 접근 방식이 실제로 효과가 있는지 확인하기 위해, 연구진은 25가지의 서로 다른 소프트웨어 작업을 포함하는 엄격한 비교 설계를 고안했다. 이 작업들은 이미지 처리 도구부터 네트워크 릴레이, 파일 생성기에 이르기까지 5가지 프로그래밍 언어를 아우른다. 연구진은 각 작업을 서로 다른 세 가지 방식으로 세 번씩 실행했다. 첫째, 새로운 머신의 안내를 받는 강력하고 비싼 AI 모델을 사용했다. 둘째, 머신의 안내를 받는 더 저렴하고 빠른 AI 모델을 사용했다. 셋째, 머신 없이 단독으로 작업하는 강력한 AI 모델을 사용하여 표준적인 "쓰고 믿기" 방식을 모방했다. 결정적으로, 단독 시도 결과와 머신이 설정한 엄격한 바이트 단위(byte-for-byte)의 기대치를 비교하기 위해 네 번째의 독립적인 판사를 투입했다. 이 판사는 코드를 수정하거나 변명할 권한이 없었으며, 출력이 규칙과 정확히 일치하는지만을 확인했다.
결과는 두 접근 방식 사이에 극명한 차이가 있음을 드러냈다. AI가 단독으로 작업했을 때는 기능적 핵심 부분은 거의 항상 바이트 단위로 정확했으나, 상세 점검 항목의 78%에서 출력이 엄격한 참조 모델과 차이를 보였다. 이러한 차이는 기능적 결함이 아니라 프로토콜, 진단, 또는 포맷팅의 차이였다. 그러나 머신은 시스템의 안내를 받는 비싼 모델과 저렴한 모델 모두가 수행한 모든 작업에 대해 검증된 결과를 생성하도록 보장했다. 머신은 시스템 가이드 하의 실행에서 어떤 AI 모델이 작성을 맡았는지와 관계없이 25가지 모든 작업에 대해 검증된 소프트웨어를 성공적으로 전달했다. 연구진은 단독 시도에서의 "실패"가 소프트웨어의 핵심 기능이 작동하느냐 아니냐의 문제라기보다는, 에러 메시지, 종료 코드, 포맷팅과 같은 작은 세부 사항에 관한 것이라는 점을 발견했다. 이것들은 계약에 정의되어야 할 정밀한 세부 사항들이지만, 인간이나 단독 AI는 이를 다르게 해석하는 경우가 많다.
아마도 가장 놀라운 발견은 비용과 효율성에 관한 것이었을 것이다. 연구진은 처음에 폐쇄 루프(closed loop)의 주요 이점이 "토큰 경제성이 아닌 화해 가능성(reconcilability)"이라고 언급했는데, 이는 단독 경로가 순수 토큰 사용량 측면에서는 더 저렴해 보였기 때문이다. 그러나 인간이 단독 AI의 실수를 수정하는 데 들여야 하는 시간까지 포함한 전체 비용을 고려했을 때, 머신 가이드 경로는 더 저렴한 옵션임이 증명되었다. 단독 AI는 작성 순간에는 더 빨랐지만 너무 많은 작은 오류를 생성하여 인간이 이를 수정하는 데 수 시간을 소비하게 만들었으며, 머신 시스템은 이 비용을 완전히 제거했다. 또한, 연구진은 고품질의 결과를 얻기 위해 반드시 강력하고 비싼 AI 모델이 필요하지 않다는 것을 발견했다. 머신의 안내를 받는 저렴한 AI 모델은 비싼 모델과 동일한 완벽한 출력을 생성했으며, 시간이 약간 더 걸릴 뿐 비용은 훨씬 적게 들었다.
이 연구는 또한 머신이 최소한의 인간 개입만으로 운영될 수 있음을 보여주었다. AI가 지침이 불분명한 지점에 직면했을 때, 머신은 사전 기록된 기본 결정을 적용하고 이를 로그에 남김으로써 프로세스가 계속 진행되도록 했다. 초기 실험에서 74개의 그러한 분기점(forks)이 인간의 답변 없이 머신의 기본값에 의해 처리되었다. 이후의 재현 실험 파동에서, 운영자의 개입은 40개의 셀 중 7개에서만 발생했으며 나머지는 머신이 자율적으로 해결했다. 연구진은 이 시스템의 가치가 단순히 돈을 아끼는 것에 있는 것이 아니라, "화해 가능성"을 만드는 데 있다고 결론지었다. 이는 모호한 완성품의 개념을 누구나 언제든 검증할 수 있는 서명되고 재현 가능한 사실로 바꾸어 놓는다. 규칙을 대화 외부로 옮기고 이를 영구적으로 만듦으로써, 이 시스템은 생성적 개발을 괴롭히는 모호함을 제거하며, 기계가 실제로 검증의 루프를 닫을 수 있음을 입증했다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.