당신이 커스텀 로봇을 만들려고 한다고 상상해 보세요. 하지만 설계도를 그리는 대신, 그냥 아주 수다스럽고 똑똑하지만 자꾸 지어내기를 좋아하는 로봇 친구에게 말을 거는 방식입니다. 당신이 "요리도 하고 청소도 할 수 있는 로봇을 원해"라고 말하면, 당신의 친구는 흥분해서 부품 목록을 나열하기 시작할 것입니다. 하지만 친구가 너무 의욕이 앞선 나머지, 맞지 않는 부품을 제안하거나, 함께 두면 폭발하는 두 부속품을 제안하거나, 심지어 존재하지도 않는 부품을 발명해 버릴 수도 있습니다. 이것이 바로 **요구사항 공학(Requirements Engineering)**의 까다로운 세계입니다. 요구사항 공학이란 소프트웨어나 기계가 정확히 무엇을 해야 하는지를 결정하는 과정입니다. 오랫동안 전문가들은 모든 부품이 완벽하게 들어맞도록 엄격한 수학적 "규칙집"(형식 모델이라 불림)을 사용해 왔지만, 이 규칙집은 인간이 읽기 어렵습니다. 최근에는 우리는 자연스러운 영어로 우리가 원하는 것을 설명하기 위해 대규모 언어 모델(LLM)—시를 쓰고 질문에 답하는 것과 같은 종류의 AI—을 사용하기 시작했습니다. 문제는? 이 AI 친구들은 말하는 데는 뛰어나지만, 규칙집의 엄격한 규칙을 따르는 데는 서툴다는 점입니다. 즉, 겉보기에는 좋아 보이지만 실제로 만들려고 하면 무너져 버리는 설계를 만들어내곤 합니다.

이 논문은 이 문제를 해결하기 위한 영리한 새로운 협업 방식을 소개합니다. 저자들은 수다스러운 AI(LLM)가 당신의 자연어 설명을 바탕으로 아이디어를 제안하는 창의적인 브레인스토머 역할을 하는 한편, 엄격하고 타협 없는 "규칙 검사기"(심볼릭 검증기)가 파수꾼처럼 지키고 서 있는 시스템을 만들었습니다. 마치 주방에서 창의적인 셰프와 위생 검사관이 함께 일하는 것과 같습니다. 셰프는 기발하고 맛있는 레시피를 제안하지만, 검사관은 즉시 재료가 안전한지, 그리고 단계가 법을 따르는지 확인합니다. 만약 셰프가 케이크에 독을 섞으라고 제안한다면, 검사관은 즉시 이를 차단합니다. 이 논문은 이 팀워크가 AI가 만드는 거의 모든 실수를 성공적으로 수정하여, 엉망이고 불가능한 아이디어를 견고하고 제작 가능한 계획으로 바꾸어 놓음을 보여줍니다. 또한 저자들은 AI의 확신도를 측정하는 새로운 방법도 도입하여, AI가 반드시 선택해야 하는 것, 자유롭게 선택할 수 있는 것, 그리고 틀린 것을 구분해 냈습니다.

창의적인 셰프와 엄격한 검사관의 이야기

소프트웨어의 세계에서는 코드 한 줄을 쓰기 전에 프로그램이 정확히 무엇을 해야 하는지 결정해야 합니다. 이것을 요개사항 공학이라고 합니다. 여러분이 "스마트 홈"을 설계한다고 가정해 봅시다. 여러분은 결정해야 합니다. 백업 배터리가 있는가? 와이파이를 사용하는가, 아니면 블루투스를 사용하는가? 목소리로 조명을 제어할 수 있는가? 이 선택들을 잘못하면 집 전체가 작동하지 않을 수 있습니다.

전통적으로 전문가들은 OOMRAM(객체 지향 요구사항 작성 및 관리 방식)이라는 엄격한 시스템을 사용했습니다. OOMRAM을 거대하고 복잡한 순서도나 선택의 트리라고 생각하세요. 여기에는 엄격한 규칙이 있습니다: "만약 '스마트 홈'을 선택했다면, 반드시 전원 공급원을 선택해야 한다. 만약 '와이파이'를 선택했다면, 동시에 '블루투스'를 선택할 수 없다." 이는 게임 캐릭터 생성기와 같아서, 게임에서 서로 배타적이라고 명시되어 있다면 검과 방패를 동시에 장착할 수 없는 것과 같습니다. 문제는 이러한 순서도가 인간이 탐색하기 어렵다는 점입니다. 단순히 "아늑하고 안전한 느낌의 집을 원해"라고 말한다고 해서 순서도가 그것을 이해할 수는 없습니다. 여러분은 모든 옵션의 정확한 이름을 알아야만 합니다.

여기에 **대규모 언어 모델(LLM)**이 등장합니다. 이것은 여러분의 문장인 "나는 음성 제어가 가능한 아늑한 집을 원해"를 이해하고 여러분이 아마도 의도했을 옵션들을 추측할 수 있는 AI입니다. 이는 여러분의 언어로 말할 수 있는 매우 빠르고 창의적인 비서와 같습니다. 하지만 함정이 있습니다. AI는 약간 몽상가 기질이 있습니다. 존재하지 않는 "양자 배터리"를 발명하거나, 와이파이와 블루투스를 동시에 가질 수 없다는 사실을 잊어버려 논리적으로 망가진 설계를 초래할 수도 있습니다.

뉴로-심볼릭 팀워크 (The Neuro-Symbolic Team-Up)

이 논문의 저자들은 이를 해결하기 위해 시스템을 구축했습니다. 그들은 함께 작동하는 네 가지 "에이전트"(작은 컴퓨터 프로그램) 팀을 만들었습니다:

1. 내비게이터 (The Navigator): 이 에이전트는 거대한 순서도(OOMRAM 격자)를 살펴보고 다음에 어느 부분을 볼지 결정합니다. 미로에서 다음 문을 가리키는 가이드와 같습니다.
2. 인터프리터 (The Interpreter - AI): 이것이 LLM입니다. 이 에이전트는 여러분의 "프로젝트 비전"(여러분이 원하는 것에 대한 설명)을 듣고 순서도의 어떤 버튼을 누를지 제안합니다. 여러분의 설명에 부합하는 옵션이 무엇인지 추측하려고 노력합니다.
3. 밸리데이터 (The Validator - 검사관): 이것은 엄격하게 규칙을 따르는 부분입니다. AI를 사용하지 않고 하드 수학을 사용합니다. AI가 제안하는 모든 사항을 순서도의 규칙에 따라 검사합니다. AI가 함께 갈 수 없는 두 가지를 골랐나요? 필수적인 부분을 빠뜨렸나요? 만약 대답이 "예"라면, 밸리데이터는 "아니오, 다시 시도하세요"라고 말하며 AI를 다시 수정하도록 돌려보냅니다.
4. 스크라이브 (The Scribe): 모든 것이 승인되면, 이 에이전트는 최종적이고 완벽한 요구사항 목록을 작성합니다.

마법은 AI와 검사관이 루프(loop) 안에서 서로 대화할 때 일어납니다. AI가 제안하면 검사관이 검사하고, 오류가 있으면 AI가 다시 시도합니다. 이 과정은 설계가 완벽해질 때까지 반복됩니다.

3단계 성적표: 진실, 아마도, 그리고 거짓

이 논문의 가장 멋진 부분 중 하나는 AI의 작업을 측정하는 방법입니다. 보통 우리는 단순히 답이 "맞다" 또는 "틀리다"라고 말합니다. 하지만 저자들은 그것이 너무 단순하다는 것을 깨달았습니다. 때때로 AI는 엄격히 요구되지는 않지만 허용되는 것을 선택하기도 합니다. 이를 처리하기 위해 그들은 **3단계 성적표(Three-Valued Scorecard)**를 발명했습니다:

• 진실 (Truth, T): AI가 반드시 선택해야 했던 것을 선택했습니다. 예를 들어, 비전이 "스마트 홈"이라면 시스템은 반드시 전원 공급원을 선택해야 합니다. AI가 이를 선택했다면 그것은 진실입니다.
• 불확정성 (Indeterminacy, I): AI가 선택은 했지만, 비전이 그것을 강제하지는 않은 경우입니다. 예를 들어, 비전이 단순히 "스마트 홈"이라고만 했다면, AI는 블루투스 대신 와이파이를 선택할 수 있습니다. 둘 다 유효하지만, 비전은 어느 쪽인지 말하지 않았습니다. 이것이 불확정성입니다. 즉, "자유로운 선택"입니다.
• 거짓 (Falsity, F): AI가 규칙을 어기는 것을 선택했습니다. 예를 들어, 규칙에서 금지하고 있음에도 "와이파이"와 "블루투스"를 동시에 선택하는 경우입니다. 이것은 거짓입니다.

이 성적표를 사용함으로써 연구자들은 AI가 어디서 추측하고 있고 어디서 명령을 따르고 있는지 정확히 파악할 수 있었습니다.

연구 결과

연구팀은 11가지 다른 유형의 애플리케이션(기록 관리 시스템, 스마트 홈, 자동차 엔터테인먼트 시스템 등)에 걸친 37개의 서로 다른 프로젝트 비전으로 시스템을 테스트했습니다. 대부분의 테스트에는 경량 AI 모델(Llama 3.1 8B)을 사용했습니다.

결과는 다음과 같았습니다:

• 수정률 (The Fix Rate): 엄격한 검사관이 없다면 AI는 큰 실수를 저질렀을 것입니다. 하지만 검사관과 함께라면 시스템은 거의 모든 실수를 수정했습니다. 37개 사례 중 35개 사례(94.6%)에서 최종 결과는 구조적 오류가 전혀 없었습니다.
• 남겨진 문제 (The Leftovers): 나머지 2개 사례에서는 AI가 루프에 빠져 테스트를 중단하기 전까지 특정 유형의 오류를 수정하지 못했습니다. 이로 인해 1,500개가 넘는 결정 중 단 6개의 아주 작은 오류(0.39%)만이 남았습니다.
• "아마도" 영역 (The "Maybe" Zone): 연구진은 AI가 내린 모든 결정 중 약 **24.7%**가 "불확정성"임을 발견했습니다. 이는 AI가 유효한 옵션들 사이에서 자신의 자유를 행사했음을 의미하며, 이는 실제로 좋은 징조입니다! 이는 시스템이 "반드시 해야 하는 것"과 "선택할 수 있는 것"의 차이를 알고 있음을 보여줍니다.
• 더 강력한 AI: 훨씬 더 똑똑한 프런티어 AI 모델(NVIDIA Nemotron 3 Ultra)로 테스트했을 때, 시스템은 **100%**의 비전을 완벽하게 수행하여 오류가 전혀 없었습니다.

이것이 왜 중요한가

이 논문은 AI가 요구사항을 작성하게 두는 것은 그것이 작동하지 않는 것을 발명할 수 있기 때문에 위험하다고 주장합니다. 하지만 엄격한 수학적 "검사관"을 두어 규칙을 체크하게 함으로써, 논리의 법칙을 깨뜨릴 걱정 없이 AI의 창의성을 활용할 수 있습니다.

또한 저자들은 이 시스템이 빠르다는 것을 보여주었습니다. "검사관"은 전체 시간의 0.4% 미만을 차지하므로 작업 속도를 늦추지 않습니다. 또한 시스템이 잘 확장된다는 것도 증명했습니다. 옵션의 목록이 커지더라도 AI가 시스템과 대화하는 횟수는 급격한 곡선이 아니라 직선 형태로만 증가합니다.

요약하자면, 이 논문은 여러분이 원하는 것을 설명하기 위해 AI의 유연한 자연어를 사용하면서도, 엄격하고 깨지지 않는 규칙집을 통해 얻은 결과물이 실제로 제작 가능하고 정확함을 보장받을 수 있다는 것을 입증합니다. 이는 "몽상가"인 AI를 신뢰할 수 있는 엔지니어로 탈바로하게 만듭니다.