Grounded verification of chemical and materials reasoning: detection is the bottleneck

거의 성공할 뻔했던 마술

매우 똑똑하고 자신감 넘치는 로봇 친구와 대화하고 있다고 상상해 보세요. 당신이 질문을 던지면, 로봇은 완벽하게 들리는 길고 유려한 이야기를 늘어놓으며 대답합니다. 하지만 때때로 그 이야기 속에는 거짓이 섞여 있습니다. 화학이나 재료 과학의 세계에서 이것은 매우 중대한 문제입니다. 만약 로봇이 실제로는 "C6H12O5"인 화학식을 "C6H12O6"라고 말한다면, 과학자는 작동하지 않는 기계를 만들거나 안전하지 않은 약물을 만들 수도 있습니다. 이것은 단순한 오타가 아닙니다. 이것은 로봇이 사실처럼 들리지만 실제로는 완전히 가짜인 내용을 지어내는 "환각(hallucination)" 현상입니다.

오랫동안 사람들은 로봇에게 자신의 작업물을 스스로 검토하도록 요청함으로써 이 문제를 해결하려 노력했습니다. 이는 마치 학생에게 자기 시험지를 직접 채점하라고 하는 것과 같습니다. 학생들은 너무 자신만만하기 때문에 자신의 실수를 놓치기 일쑤입니다. 다른 이들은 로봇에게 답변하기 전에 참고할 수 있는 책의 도서관(데이터베이스)을 제공하는 방법을 시도했습니다. 하지만 모든 질문에 대해 모든 책을 찾아보는 것은 느리고 비용이 많이 들며, 때로는 로봇이 여전히 혼란을 겪기도 합니다. 연구자들이 답을 찾고자 했던 핵심적인 질문은 이것이었습니다: 어떻게 하면 모든 것을 늦추지 않으면서 이 거짓말을 잡아낼 수 있을까? 그리고 일단 찾아낸다면 실제로 그것을 고칠 수 있을까?

용의자만을 확인하는 탐정

Kurban Intelligence Lab에서 발표한 이 논문은 이러한 똑똑한 로봇들을 상대로 "탐정 놀이"를 하는 새로운 방법을 소개합니다. 이들은 '계층적 검증기(tiered verifier)'를 구축했습니다. 이 검증기는 특정 사실만을 확인하는 매우 빠르고 엄격한 사서라고 생각하면 됩니다.

이 마술의 작동 방식은 다음과 같습니다:

1. 설정: 로봇이 화학 물질에 관한 질문(예: "암피실린의 화학식은 무엇인가?")에 답하려고 시도합니다.
2. 문제 발생: 로봇은 유창한 답변을 작성하지만, 숫자나 화학식을 지어냈을 수도 있습니다.
3. 확인: 검증기는 전체 이야기를 읽지 않습니다. 대신 특정 "확인 가능한 주장"(예: 분자식이나 에너지 수치)을 찾아냅니다. 검증기는 그 특정 주장을 추출하여 신뢰할 수 있는 데이터베이스(디지털 화학 백과사전 등)와 대조합니다.
4. 관문: 만약 그 주장이 데이터베이스와 일치하면, 검증기는 "이상 없음!"이라고 말하며 답변을 통과시킵니다. 만약 주장이 틀렸다면, 검증기는 적색 신호를 보냅니다.
5. 수정: 신호가 발생했을 때, 검증기는 단순히 "당신이 틀렸다"라고 말하는 데 그치지 않습니다. 검증기는 올바른 사실을 로봇에게 속삭이며 이렇게 말합니다. "다시 시도하세요, 하지만 이 사실을 사용해서요." 그러면 로봇은 답변의 그 부분만을 다시 작성합니다.

큰 놀라움: 거짓을 잡아내는 것이 고치는 것보다 어렵다

이 논문에서 가장 흥able한 발견은 약간의 반전입니다. 연구자들은 로봇이 자신의 실수를 고치는 데 서툴 것이라고 예상했습니다. 그들은 "로봇이 올바른 사실을 보고도 그것을 어떻게 글로 써야 할지 모를 수도 있다"라고 생각했습니다.

하지만 그것은 전혀 문제가 아니었습니다. 논문에 따르면 수정하는 것은 사실 쉬운 일이었습니다. 검증기가 실수를 포착하고 로봇에게 올прав한 사실을 알려주었을 때, 로봇은 **80%에서 97%**의 확률로 이를 수정했습니다! 그것이 분자식이든 결정 구조든, 로봇은 기꺼이 수정을 받아들였습니다.

진정한 병목 현상, 즉 시스템을 완벽하게 만드는 것을 가로막았던 것은 바로 **탐지(detection)**였습니다. 검증기가 애초에 실수를 찾아내는 것이 문제였습니다.

• 흔한 화학 물질의 경우, 검증기는 거의 모든 오류를 잡아냈습니다.
• 희귀하고 특이한 화학 물질(과학의 "롱 테일" 영역)의 경우, 검증기는 많은 오류를 놓쳤습니다.
• 한 사례(형성 에너지)에서는, 검증기가 오류를 잡아낼 수만 있다면 80%를 고칠 수 있었음에도 불구하고, 실제로는 오류의 19%만을 잡아냈습니다.

이는 마치 일단 도둑을 발견하면 아주 잘 막아내지만, 군중 속에서 도둑을 찾아내는 데는 서툰 보안 요원과 같습니다. 논문은 가장 큰 과제가 로봇에게 정직함을 가르치는 것이 아니라, 시스템이 거짓말을 포착하도록 가르치는 것이라고 결론지었습니다.

무엇이 작동하고 무엇이 작동하지 않는가

연구진은 이 시스템을 네 가지 서로 다른 "똑똑한 로봇"(대규모 언어 모델)에 테스트하여 몇 가지 흥미로운 패턴을 발견했습니다.

• "희귀함"의 문제: 로봇은 이전에 본 적 없는 희귀하고 생소한 화학 물질에 대해 가장 많은 실수를 저질렀습니다. 이곳이 검증기가 가장 필요하면서도, 동시에 오류를 찾는 데 가장 어려움을 겪는 지점이었습니다.
• "흔한 것"의 천장: 매우 유명하고 잘 알려진 사실(기본 물리 상수 등)의 경우, 로봇은 이미 너무 뛰어나서 검증기가 할 일이 거의 없었습니다. 실제로 이러한 쉬운 사실들에 대해 검증기는 때때로 옳은 답변을 틀렸다고 잘못 표시하여 로직을 "망가뜨리는" 경우도 있었습니다. 이는 고칠 필요가 없는 것을 고치려 하지 않도록 주의해야 함을 보여주었습니다.
• "그냥 묻기"보다 나은 점: 연구팀은 이들의 시스템을 "대화형 오라클(conversational oracle, 단순히 답을 찾아 알려주는 로봇)"과 비교했습니다. 그들의 "게이트형(gated)" 시스템이 훨씬 더 뛰어났습니다. 왜냐하면 대화형 로봇은 답을 언급하기만 할 뿐, 과학자들이 필요로 하는 구체적인 숫자를 실제로 적지는 않는 경우가 많았기 때문입니다. 검증기는 로봇이 정확한 사실을 쓰도록 강제함으로써 검사가 더 용이하게 만들었습니다.
• 비용 문제: 모든 답변의 모든 단어를 확인하는 것은 비용이 많이 들고 느립니다. 그들의 시스템은 의심스러운 부분만을 확인했습니다. 이 덕분에 모든 것을 확인하는 것보다 3.2배 적은 데이터베이스 조회를 사용하여, 대부분의 오류를 잡아내면서도 시간과 비용을 절약할 수 있었습니다.

"범위(Scope)"의 교훈

그들이 발견한 또 다른 영리한 트릭이 있었습니다. 때때로 검증기는 재료(화학식)를 확인하고 "맞다!"라고 말합니다. 하지만 최종 답변은 그 재료를 바탕으로 한 계산(예: "이 분자의 무게는 얼마인가?")을 요구합니다. 만약 검증기가 재료만 확인하고 최종 계산을 확인하지 않는다면, 최종 답변은 여전히 틀릴 수 있습니다.

검증기의 범위를 재료뿐만 아니라 최종 계산된 답변까지 확장했을 때, 성공률은 **83%에서 90%**로 급증했습니다. 이는 문제를 진정으로 해결하려면 단순히 구성 요소를 확인하는 것이 아니라, 사용자에게 실제로 중요한 답변 부분을 확인해야 한다는 것을 가르쳐 주었습니다.

결론

이 논문은 우리가 과학적 AI를 훨씬 더 신뢰할 수 있게 만들 수 있음을 보여주지만, 퍼즐의 올바른 부분에 집중해야 한다고 말합니다. 우리는 로봇이 실수를 고치는 데 더 똑똑해지도록 가르칠 필요가 없습니다. 로봇은 이미 그것을 꽤 잘하고 있기 때문입니다. 대신, 우리는 거짓말이 발생하기 전에 그것을 포착할 수 있는 더 나은 "거짓말 탐지기"를 만들어야 합니다.

연구진은 또한 이 방법이 방사성 원자의 반감기를 확인하는 것과 같은 다른 분야에서도 작동한다는 것을 보여주었으며, 이는 이 아이디어가 화학에만 국한되지 않음을 증명합니다. 다만, 로봇이 이미 완벽하게 알고 있는 것들(유명한 물리 상수 등)에 대해서는 이 시스템이 별 도움이 되지 않으며 오히려 새로운 실수를 유발할 수 있다는 점을 주의 깊게 언급했습니다. 마술은 진짜 실수를 찾아낼 수 있는 곳에서만 작동합니다.

요약하자면: 로봇은 교정될 준비가 되어 있습니다. 우리는 단지 로봇이 거짓말을 하는 것을 잡아내는 법을 더 잘 배우면 됩니다.