인공지능이 급격히 발전하는 세상에서, 거대 언어 모델은 텍스트를 생성하고, 문제를 해결하며, 코드를 작성하는 데 있어 놀라울 정도로 유창해졌습니다. 이들은 자신감 있고 논리적으로 보일 수 있지만, 종종 눈에 띄기 어려운 미묘한 실수를 저지르기도 합니다. 이를 해결하기 위해 연구자들은 메인 모델의 작업을 점검하고 인간 사용자에게 도달하기 전에 오류를 잡아내도록 설계된 보조 시스템인 '검증기(verifiers)'를 개발했습니다. 이러한 검사기들은 다양한 형태를 띱니다. 어떤 것들은 모델의 출력을 사실 데이터베이스와 비교하고, 어떤 것들은 코드를 실행하여 충돌 여부를 확인하며, 또 다른 것들은 모델에게 자신의 추론을 스스로 검토하도록 요청합니다. 지배적인 희망은 이러한 점검 계층을 추가함으로써, 단순히 유창할 뿐만 아니라 신뢰할 수 있는 시스템을 구축할 수 있다는 것이었습니다. 그러나 결정적인 질문 하나가 해결되지 않은 채 남아 있었습니다. 이 검사기들이 정확히 무엇을 보장할 수 있는가 하는 점입니다. 시스템이 어떤 결과가 "검증되었다"라고 말할 때, 그것은 그 답이 확실히 옳다는 뜻입니까, 아니면 단지 특정하고 제한된 규칙 세트에 따라 그럴싸해 보인다는 뜻입니까?

Yajie Yin의 새로운 연구는 이 혼란을 해결하기 위해 검증 시스템의 강도를 측정하는 새로운 방법을 제안합니다. 저자는 현재 이 분야에서 '레벨(level)'이라는 단어를 다섯 가지 서로 다른 의미로 사용하고 있으며, 이로 인해 오해의 안개가 형성되어 있다고 주장합니다. 일부 연구자들은 문제를 얼마나 세밀하게 나누는지 설명하기 위해 '레벨'을 사용하고, 다른 이들은 위험도를 설명하기 위해, 또 다른 이들은 컴퓨터 시스템의 어느 부분을 감사하는지를 설명하기 위해 이 단어를 사용합니다. 이 논문은 '검증 자율성 레벨(Verification Autonomy Levels)'이라는 단일하고 명확한 척도를 도입하며, 여기에는 한 가지 구체적인 질문에 집중합니다. 즉, 진실은 어디에서 오는가, 그리고 검사기는 무엇을 찾아내겠다고 약속하는가 하는 것입니다. 이 척도는 모델이 단순히 자신의 작업이 옳다고 선언하는 가장 약한 형태부터, 객관적이고 변하지 않는 사실이나 솔루션의 완결성을 증명할 수 있는 수학적 규칙에 기반한 가장 강력한 형태까지 범위를 가집니다.

이 연구의 핵심 발견은 거의 모든 현재의 검증 방식에 적용되는 근본적인 한계입니다. 연구는 많은 인기 있는 검사기들이 제안된 답이 옳다는 것을 확인할 수는 있지만, 다른 정답을 놓치지 않았음을 증명할 수는 없다는 것을 보여줍니다. 승인된 방문자 명단을 확인하는 보안 요원을 상상해 보십시오. 만약 요원이 명단에서 이름을 발견하면 입장을 허용합니다. 하지만 위험한 인물이 명단에 없는 이름으로 나타난다면, 요원은 그곳에 있어야 할 모든 사람의 완전한 사전 승인 명단이 없는 한 누군가가 누락되었다는 사실을 알 방법이 없습니다. 논문은 이를 '완전성 사각지대(completeness blind spot)'라고 부릅니다. 대부분의 현재 시스템은 명단을 가진 보안 요원처럼 작동합니다. 즉, 후보 솔루션이 작동한다는 것은 검증할 수 있지만, 가능한 모든 솔루션을 모두 찾아냈음을 보장할 수는 없습니다. 이러한 한계는 모델을 더 잘 훈련하거나 데이터를 더 많이 체크한다고 해서 고칠 수 있는 버그가 아니라, 이러한 시스템이 작동하는 방식의 구조적 특징입니다.

이 지형을 그려내기 위해 저자는 L0에서 L5까지 이어지는 6단계 척도를 개발했습니다. 맨 아래 단계인 L0는 모델이 단순히 "내가 이것을 확인했고, 이것은 옳다"라고 말하는 시스템을 나타냅니다. 외부적인 증거도 없고, 진리에 대한 보장도 없습니다. 위로 올라가서 L1과 L2는 문제에서 파생된 규칙이나 알려진 객관적 사실과의 비교를 포함합니다. 이것들은 특정 답이 옳다는 것을 확인하는 데 유용하지만, 여전히 사각지대를 겪습니다. 즉, 더 나은 혹은 다른 답을 놓치지 않았음을 증명할 수 없습니다. 척도는 L3와 L4에서 크게 도약하는데, 여기서의 검증은 형식적 수학 증명이나 엄격한 논리 규칙과 같이 결정 가능한 시스템에 기반합니다. 이 경우, 시스템은 답을 확인할 수 있을 뿐만 아니라, 특정하고 잘 정의된 범위 내에서 다른 답이 존재하지 않음을 증명할 수 있습니다. 모든 가능한 질문에 대해 완전성을 증명할 수 있는 시스템을 나타내는 최고 단계인 L5는 수학적으로 불가능한 것으로 나타났습니다.

논문은 이 프레임워크를 수학 문제 풀이, 보안 위협을 위한 컴퓨터 동작 모니터링, 의료 진단, 그리고 컴퓨터 코드 작성이라는 네 가지 매우 다른 분야에서 테스트했습니다. 수학 실험에서 연구진은 자신의 작업을 스스로 점검할 수 있는 시스템을 구축했습니다. 그들은 시스템이 일부 오류를 잡아낼 수는 있지만, 원본 모델과 비교했을 때 전체적인 답변 정확도를 개선하지는 못한다는 것을 발견했습니다. 실제로 검증 과정이 새로운 오류를 도입함으로써 상황을 악화시키기도 했습니다. 그러나 시스템은 다른 작업에서 탁월한 성과를 보였습니다. 즉, 더 단순한 검사가 무시했을 법한 누락된 솔루션과 같은 특정 유형의 오류를 발견했거나, 자신이 확신할 수 없을 때 이를 신뢰성 있게 보고할 수 있었습니다. 의료 진단 연구에서 연구진은 모델의 추론을 확인하기 위해 표준 임상 규칙을 사용했습니다. 그들은 단순한 규칙 기반 검사가 모델이 필요한 증거가 부족함에도 불구하고 확신에 차서 틀린 답을 내놓는 경우를 잡아낼 수 있었으며, 이는 인간 검토자가 놓쳤던 실패 사례였습니다.

연구는 모델이 컴퓨터 프로그램을 작성하는 코드 생성 분야도 살펴보았습니다. 여기서 연구는 모델이 이미 표준적인 문제들을 해결하는 데 매우 뛰어나서, 검증 계층을 추가하더라도 정확도가 높아지지 않는다는 것을 발견했습니다. '정확도 창(accuracy window)'은 비어 있었습니다. 모델은 해당 특정 과업들에 대해 이미 정점에 도달해 있었습니다. 이 맥락에서 검증 시스템의 가치는 코드를 더 좋게 만드는 것이 아니라, 코드가 안전하지 않거나 불완전할 수 있다는 명확한 신호를 제공하는 데 있었습니다. 저자는 이것이 검증의 실패가 아니라, 검증이 가치를 더하는 지점을 정밀하게 측정하는 것이라고 강조합니다. 검증은 모델이 이미 마스터한 문제에 대해 원시 정확도를 높이려 할 때가 아니라, 오류를 보고하거나 완결성을 증명할 수 있을 때 가치를 더합니다.

논문의 중요한 부분은 '정확성(correctness)'과 '완전성(completeness)'의 구분입니다. 정확성은 제안된 답이 옳다는 것을 의미합니다. 완전성은 시스템이 모든 정답을 찾았으며 다른 정답이 존재하지 않음을 알고 있다는 것을 의미합니다. 연구는 대부분의 현재 시스템이 정확성만을 제공한다는 것을 보여줍니다. 그들은 "이 답은 작동한다"라고 말할 수는 있지만, "이것이 유일한 답이다"라고 말할 수는 없습니다. 완전성을 달 achieve 하기 위해서는, 문제를 기계가 철저하게 해결할 수 있는 엄격한 논리적 형식으로 재구성할 수 있어야 합니다. 이는 특정 유형의 수학이나 코드에 대해서는 가능하지만, 세상이 너무 복잡하여 하나의 규칙으로 완전히 포착될 수 없는 뉴스 팩트 체크나 복잡한 질병 진단과 같은 개방형 과업에 대해서는 불가능합니다. 논문은 우리가 이러한 개방형 시나리오에서 시스템이 완전할 수 있다고 가정하는 것을 멈춰야 한다고 주장합니다. 대신, 우리의 도구가 가진 한계에 대해 정직해져야 합니다.

저자는 또한 검증기를 검증하기 위해 검사기가 필요하고, 그 검사기를 검증하기 위해 또 다른 검사기가 필요한 '신뢰 재귀(trust recursion)' 문제도 다룹니다. 논문은 이 신뢰의 사슬이 결국 또 다른 인공지능에 의존하지 않는 지점에서 멈춰야 한다고 보여줍니다. 그것은 인간이 정의한 규칙, 물리적 측정, 또는 수학적 증명에서 멈춰야 합니다. 만약 사슬이 또 다른 AI 모델에서 멈춘다면, 그 검증은 순환적이며 신뢰할 수 없습니다. 연구는 가장 좋은 접근 방식이 AI가 아이디어를 생성하는 창의적인 작업을 담당하고, 별도의 경직된 시스템이 고정된 표준에 따라 그 아이디어들을 검사하도록 설계하는 것이라고 제안합니다. 이러한 역할 분담은 시스템이 자신이 안전 구역 밖에서 작동하고 있는지, 그리고 언제 멈추어 인간의 도움을 요청해야 하는지를 알 수 있게 해줍니다.

궁극적으로, 이 논문은 인공지능 안전 분야를 위한 현실적인 점검 역할을 합니다. 이는 연구자와 개발자들이 자신들의 시스템이 무엇을 할 수 있고 무엇을 할 수 없는지에 대해 정밀하게 말할 수 있도록 새로운 어휘를 제 제안합니다. 또한, 시스템이 단순히 테스트를 통과했다고 해서 "검증되었다"라고 가정하는 위험한 습관에 대해 경고합니다. 대신, 더 미묘한 관점을 촉구합니다. 즉, 시스템이 특정 답이 옳다는 것을 확인하는 데는 탁월할 수 있지만, 그것이 전체 진실을 찾아냈다는 의미는 아니라는 점입니다. 검증 시스템이 얻을 수 있는 최고 등급은 완벽함에 대한 약속이 아니라, 자신의 한계에 대한 정직한 선언입니다. 이러한 레벨을 이해함으로써, 우리는 단순히 더 똑똑한 AI 시스템이 아니라, 자신이 무엇을 알고 있고, 무엇이 틀렸으며, 언제 단순히 모르는지를 더 투명하게 밝힐 수 있는 시스템을 구축할 수 있습니다.