Measuring What a Specification Determines: A Formal Semantic-Block Model and an Execution-Judged Benchmark

현대 소프트웨어 세계에서 점점 더 많은 기업들이 인공지능을 사용하여 컴퓨터 프로그램을 자동 생성하려고 시도하고 있습니다. 엔지니어 팀을 고용하여 모든 코드 한 줄을 처음부터 직접 작성하는 대신, 그들은 소프트웨어가 수행해야 할 상세한 서술형 설명인 '명세(specification)'를 제공하고 AI에게 이를 구축하도록 요청합니다. 이러한 접근 방식인 명세 기반 개발(specification-driven development)은 작성된 계획을 기계를 위한 일차적인 지침서로 취급합니다. 계획이 충분히 명확하다면 AI가 매번 완벽한 소프트웨어를 만들어낼 것이라는 희망이 담겨 있습니다. 그러나 결정적인 의문이 남아 있습니다. 더 나은 계획이 실제로 AI를 더 똑똑하게 만드는 것일까요, 아니면 AI 시스템이 이미 훈련을 통해 답을 알고 있는 것일까요? 만약 AI가 이전에 본 유사한 계획들을 근거로 단순히 그 계획에 동의하는 것이라면, 그 계획 자체는 실질적인 역할을 수행하고 있지 않은 것입니다. 이러한 불확실성은 명세가 진정으로 높은 품질을 갖춘 것인지, 아니면 단지 기계가 원래 하려던 바와 일치하는 문서일 뿐인지 판단하기 어렵게 만듭니다.

한 연구팀은 특정하고 복잡한 과업, 즉 거대한 데이터베이스를 한 유형의 시스템에서 다른 유형으로 이동하는 작업을 테스트함으로써 이 측정 문제를 해결하고자 했습니다. 그들은 Oracle 데이터베이스에서 PostgreSQL 데이터베이스로 데이터를 마이그레이션하기 위한 형식적이고 구조화된 명세를 만들었습니다. 이 과정은 데이터가 저장되고 처리되는 방식에 관한 수천 개의 규칙을 번역하는 작업을 포함합니다. 이 명세가 실제로 도움이 되는지 테스트하기 위해, 연구진은 단순히 AI에게 코드를 작성하게 하고 결과가 제대로 보이는지 확인하는 데 그치지 않았습니다. 대신 그들은 동일한 그룹의 AI 시스템이 명세가 있을 때와 없을 때 두 번의 마이그레이션을 수행하도록 하는 엄격한 실험을 설계했습니다. 연구진은 실제 Oracle 데이터베이스와 새로운 PostgreSQL 시스템을 엄격한 심판으로 사용했습니다. 그들은 생성된 코드를 원본 데이터와 대조하여 결과가 동일한지 확인하였으며, 소프트웨어의 실제 동작을 성공의 유일한 척도로 삼았습니다.

이 연구에는 세 가지 서로 다른 AI 시스템이 독립적인 구현체로서 동일한 75개의 특정 마이그레이션 과업을 수행하도록 참여했습니다. 연구진이 결과를 비교했을 때, 소프트웨어가 실행될 수 있는 능력과 AI 시스템 간의 합의 정도 사이에는 명확한 차이가 발견되었습니다. 명세는 소프트웨어가 충돌 없이 실행되는 능력을 극적으로 향상시켰습니다. 명세가 없었을 때는 생성된 코드의 72%만이 새 데이터베이스에 성공적으로 로드될 수 있었습니다. 전체 명세가 적용되자 그 수치는 97.3%로 급증했습니다. 계획은 AI가 치명적인 오류를 피하고 실제로 작동하는 코드를 생성하도록 돕는 가이드 역할을 했습니다.

그러나 연구진이 명세가 AI 시스템 간의 합의를 얼마나 높이는지를 살펴보았을 때 이야기는 다른 방향으로 흘러갔습니다. 완벽한 계획이 모든 AI 시스템이 정확히 동일한 결정을 내리도록 강제하여 통일된 솔루션을 만들어낼 것이라는 기대가 있었습니다. 데이터는 이것이 사실이 아님을 보여주었습니다. 명세가 없더라도 AI 시스템들은 이미 83%의 확률로 서로 동의하고 있었는데, 이는 아마도 그들이 훈련 과정에서 동일한 표준 산업 관행을 학습했기 때문일 것입니다. 명세가 추가되었을 때 이 합의율은 거의 변하지 않았으며, 83.8%로 아주 미미하게 움직였습니다. 계획은 AI가 이미 내리고 있던 결정에 대해 생각을 바꾸게 만든 것이 아니라, 단지 그 결정을 실행할 때 오류 없이 수행하도록 도왔을 뿐입니다.

연구진은 또한 정보가 어떻게 제시되는지가 정보의 양보다 더 중요하다는 것을 발견했습니다. 한 실험에서 그들은 단일 규칙을 가져와 문서의 서로 다른 부분에 배치했습니다. 규칙이 섹션 끝의 단락 속에 묻혀 있을 때 AI의 준수율은 23%에 불과했습니다. 반면 동일한 규칙을 섹션 상단의 구조화된 표에 배치했을 때 준수율은 42%로 높아졌습니다. 놀랍게도 규칙을 두 곳 모두에 반복 배치하자 준수율이 오히려 34%로 낮아졌는데, 이는 중복성이 시스템을 강화하기보다 혼란을 줄 수 있음을 시사합니다. 이 발견은 문서의 구조가 텍스트의 양보다 더 영향력이 크다는 것을 나타냅니다.

아마도 가장 중요한 발견은 명세가 때로는 상황을 악화시킬 수도 있다는 점입니다. 한 특정 사례에서, 명세의 규칙은 AI에게 특정 유형의 데이터 컨테이너를 사용하도록 지시했습니다. AI는 이 규칙을 완벽하게 따랐지만, 그 결과는 유효하지 않고 작동하지 않는 코드였습니다. 명세가 없었다면 AI는 해당 지침을 무시하고 스스로 다른 작동하는 방식을 사용했을 것입니다. 이는 규칙을 따르는 것이 올바른 결과를 보장하지 않으며, 명세가 기존의 오류를 해결하는 동시에 새로운 오류를 도입할 수 있음을 입증했습니다. 또한 연구는 AI 시스템이 일관성에 있어 자연적인 한계를 가지고 있음을 발견했습니다. 연구진이 동일한 테스트를 여러 번 반복해서 실행했을 때, AI가 텍스트를 생성하는 무작위성 때문에 결과가 약 14%포인트 정도 변동되었습니다. 이러한 가변성은 작은 개선 사항들을 신뢰할 수 없는 것으로 만들었습니다.

궁극적으로, 이 연구는 명세가 소프트웨어를 실행 가능하게 만들고 인간이 지침이 누락된 부분을 찾는 데는 강력한 도구이지만, 서로 다른 AI 시스템이 똑같이 생각하도록 강제하는 마법의 지팡이는 아니라고 결론짓습니다. 명세는 깨진 프로그램을 거의 4분의 1 가까이 줄임으로써, 코드가 실행되도록 보장하는 데서 그 가치를 증명했습니다. 그러나 명세는 서로 다른 AI 시스템 간의 합의를 높이거나 데이터 자체의 정확도를 개선하는 데는 실패했으며, 정확도는 통제 집단과 비통제 집단 모두에서 42개 테스트 중 19개의 정답이라는 수치로 변함이 없었습니다. 이 연구는 현재 세대의 AI에게 있어 명세가 솔루션의 질을 AI가 이미 알고 있는 수준 이상으로 끌어올리는 가이드라기보다는, 파멸적인 실패를 방지하는 안전망에 가깝다고 시사합니다. 명세의 진정한 힘은 AI를 동의하게 만드는 데 있는 것이 아니라, 소프트웨어를 구축하는 과정을 검증하고 확인할 수 있을 만큼 신뢰할 수 있게 만드는 데 있습니다.