Kronumos 2 Kairos: Cost-Bounded Automated Program Repair via Dual-Brain Cybernetic Sub-Cortex on SWE-bench Verified

소프트웨어 유지보수는 전 세계 엔지니어링 예산의 60% 이상을 소비하는 조용하고도 거대한 산업입니다. 이는 복잡한 디지털 시스템에서 고장 난 부분을 찾아내고, 작동 중인 나머지 부분은 망가뜨리지 않으면서 이를 수리하는 작업입니다. 수십 년 동안 이것은 서로 다른 코드 파일들이 어떻게 상호작용하는지에 대한 깊은 지식을 요구하는 인간의 과업이었습니다. 최근에는 방대한 양의 코드를 학습한 컴퓨터 프로그램들이 이 작업을 스스로 시도하기 시작했습니다. 대규모 언어 모델(LLM)로 알려진 이 프로그램들은 문제에 대한 설명을 읽고 해결책을 제안할 수 있습니다. 그러나 이 모델들이 실제 소프트웨어를 수정하려고 할 때 종종 어려움을 겪습니다. 이들은 엄청난 양의 정보 속에서 길을 잃기도 하고, 컴퓨터가 작업을 거부하게 만드는 미세한 서식 오류를 범하기도 하며, 매 시도마다 값비싼 클라우드 컴퓨팅 파워를 필요로 하여 높은 비용을 발생시키기도 합니다.

새로운 연구는 무차별 대입 방식보다 정밀함과 비용 효율성을 우선시하는 접근 방식을 소개합니다. 연구진은 광범위한 검색 엔진보다는 정밀한 수술 도구처럼 작동하도록 설계된 '크로노모스 2 카이로스(Kronumos 2 Kairos)'라는 시스템을 구축했습니다. 이 시스템은 컴퓨터 모델이 코드베이스를 헤매며 반복적으로 추측하고 확인하게 하는 대신, 모델이 매우 구체적이고 좁은 작업에 집중하도록 강제합니다. 이는 적당한 크기의 오픈 소스 컴퓨터 모델을 엄격한 규칙 기반 엔진과 결합하여, 마치 엄격한 품질 관리 검사관처럼 작동하게 합니다. 목표는 더 작고 저렴한 모델이라도, 모델 스스로의 부주의한 실수로부터 보호받고 불필요한 단계에 자원을 낭비하지 않도록 제한된다면 실제 소프트웨어 버그를 고칠 수 있는지 확인하는 것이었습니다. 연구진은 인공지능의 코드 복구 능력을 측정하는 데 사용되는 표준 세트인 500개의 실제 세계 소프트웨어 이슈 벤치마크를 통해 이 시스템을 테스트했습니다.

이 시스템은 작업을 두 개의 뚜렷한 부분으로 나누어 운영됩니다. 첫 번째 부분은 문제를 이해하고 코드 수정안을 작성하는 역할을 하는 컴퓨터 모델인 '인지 피질(cognitive cortex)'입니다. 두 번째 부분은 정확하고 예측 가능한 동작을 보장하는 언어로 작성된 결정론적 엔진인 '하위 피질(sub-cortex)'입니다. 하위 피질은 필터이자 포맷터 역할을 합니다. 모델이 문제를 보기 전에, 하위 피질은 에러 메시지를 어지럽히는 수천 줄의 무관한 기술적 노이즈를 제거합니다. 또한 개인정보 보호를 위해 비밀번호나 API 키와 같은 민감한 정보를 삭제합니다. 그런 다음 모델의 출력물을 받아 코드가 패치되어야 하는 엄격한 규칙에 부합하는지 확인합니다. 만약 모델이 줄 번호, 들여쓰기 또는 수정 사항의 형식을 틀린다면, 하위 피질이 즉시 이를 잡아냅니다. 하위 피질은 오류를 수정하거나 패치를 아예 거부하여, 잘못되거나 형식이 깨진 코드가 테스트를 위해 제출되지 않도록 보장합니다. 이 과정은 단순한 서식 오류 때문에 실패할 운명인 시도에 시간을 낭비하는 것을 방지합니다.

연구진은 이 시스템을 500개의 실제 소프트웨어 이슈에 대해 실행했습니다. 결과는 시스템이 이 중 8개의 버그를 성공적으로 해결했음을 보여주었습니다. 500개 중 8개라는 숫자가 작아 보일 수 있지만, 중요한 점은 시스템이 이 성과를 어떻게 달성했느냐에 있습니다. 연구진은 상업적 기업들이 사용하는 수천 달러 상당의 거대 모델보다 훨씬 작은 70억 개의 파라미터를 가진 모델을 사용했습니다. 이 이중 뇌 구조를 사용하여, 시스템은 계산 능력에 대한 추가적인 한계 비용 없이 이러한 문제들을 해결해 냈습니다. 각 작업당 처리된 평균 데이터량은 2,000 토큰을 약간 상회했는데, 이는 다른 자동 복구 시스템들이 통상적으로 소비하는 수십만 토큰보다 93% 낮은 수치입니다. 이러한 극적인 데이터 사용량 감소는 이 시스템이 현재의 대안들보다 훨씬 더 효율적이고 확장 가능하다는 것을 의미합니다.

연구의 핵심적인 발견은 엄격한 품질 관리 엔진의 중요성이었습니다. 연구진이 모델이 코드를 작성한 후 서식 오류를 수정하는 하위 피질의 기능을 제거했을 때, 성공적인 복구 횟수가 8회에서 6회로 감소했습니다. 이는 모델의 실패 중 상당 부분이 이해력의 부족 때문이 아니라, 코드가 제시되는 방식에서의 사소하고 교정 가능한 실수 때문이었음을 입증했습니다. 하위 피질은 안전망 역할을 하여, 모델이 찾아낸 논리적인 해결책이 실제로 사용 가능한 형식으로 전달되도록 보장했습니다. 또한 이 시스템은 복구 과정 중에 소프트웨어 테스트를 직접 실행하지 않고도 작동할 수 있음을 증명했습니다. 시스템은 수정 사항을 적용해 보고 작동 여부를 확인하는 대신, 내부 규칙에 의존하여 수정 사항이 적용되기 전에 구조적으로 건전한지 확인했습니다.

연구진은 Django와 Scikit-Learn 같은 주요 프로젝트를 포함한 네 가지 서로 다른 소프트웨어 생태계에서 이 시스템을 평가했습니다. 성공한 8개의 복구 사례는 데이터베이스 마이그레이션 도구의 충돌 수정부터 데이터 분석 라이브러리의 수학적 오류 수정에 이르기까지 다양한 이슈를 다루었습니다. 한 사례에서는 특정 설정이 없을 때 프로그램이 충돌하는 버그를 해결했는데, 모델은 설정을 사용하기 전에 해당 설정의 부재를 먼저 확인해야 한다는 점을 정확히 식별했습니다. 또 다른 사례에서는 프로그램이 건드리지 말아야 할 데이터를 실수로 변경하는 문제를 해결했습니다. 연구진은 모든 성공적인 수정 사항을 수동으로 검사하여 논리가 정확한지, 그리고 솔루션이 단순히 운 좋은 추측이 아닌지를 확인했습니다.

연구진은 자신들의 시스템이 모든 소프트웨어 버그에 대한 완전한 해결책은 아니라는 점을 인정합니다. 모델은 여전히 여러 파일에 걸친 깊은 추론이 필요하거나 추상적인 개념을 다루는 매우 복적인 문제에서는 어려움을 겪습니다. 그러나 이 연구는 더 작고 오픈 소스인 모델로 무엇이 가능한지에 대한 새로운 기준을 제시합니다. 이는 유능하지만 적당한 규모의 컴퓨터 모델을 엄격한 규칙 기반 시스템과 결합함으로써, 현재의 최첨단 시스템들과 관련된 막대한 비용 없이도 신뢰할 수 있는 결과를 얻을 수 있음을 보여줍니다. 이 연구는 자동 복구의 미래가 모델을 무한히 크게 만드는 것에 달려 있는 것이 아니라, 모델을 안내하고 실수를 잡아낼 더 나은 시스템을 구축하는 것에 달려 있음을 시사합니다.

이 연구는 자동 소프트웨어 복구를 접근 가능하고 저렴하게 만드는 명확한 경로를 제공합니다. 시스템이 비용 없이 높은 효율성으로 실제 버그를 고칠 수 있음을 증명함으로써, 이 연구는 오직 가장 비싸고 강력한 모델만이 이 일을 할 수 있다는 통념에 도전합니다. 이중 뇌 구조의 성공은 코드를 작성하는 창의적인 작업과 규칙 준수를 보장하는 기계적인 작업을 분리하는 것의 가치를 강조합니다. 자동 복구 분야가 계속 진화함에 따라, 이 연구는 지능과 규율 사이의 균те를 맞추는 실질적인 사례를 제공하며, 우리가 만드는 소프트웨어를 고치는 도구 자체가 스스로 견고하고 신뢰할 수 있으며 효율적이도록 만드는 방법을 제시합니다.