Chemical Chain-of-Thought Functions as a Hallucination-Prone Molecular Scratchpad
이 연구는 언어 모델 내의 화학적 사고 사슬(chain-of-thought) 추론이 조작된 구조적 주장이 흔하게 나타나면서도 정답을 생성하는 데 있어 인과적으로 하중을 지탱하는 역할을 하는, 환각에 취약한 분자 스크래치패드로서 기능하며, 이에 따라 단순한 정답 평가를 넘어선 프로세스 수준의 감독이 필요함을 밝히고 있다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
인공지능의 광활한 풍경 속에서, 새로운 세대의 모델들은 말하기 전에 먼저 생각하는 법을 배웠습니다. 곧바로 정답으로 뛰어드는 대신, 이 시스템들은 마치 학생이 연습장에 수학 문제를 풀어나가는 것처럼 단계별 추론 과정을 글로 써 내려치도록 훈련되었습니다. '사고의 사슬(chain-of-thought)' 추론이라고 알려진 이 방식은 컴퓨터가 복잡한 퍼즐을 해결하도록 돕는 표준적인 방법이 되었습니다. 분자가 생명과 의약품의 구성 요소인 화학 분야에서 이러한 능력은 특히 유망합니다. 과학자들은 만약 컴퓨터가 새로운 약물을 설계하거나 화학 구조를 식낼에 대한 논리를 설명할 수 있다면, 인간 전문가가 그 논리의 오류를 점검할 수 있을 것이라고 기대합니다. 최종 답변이 옳다면, 그곳에 도달하기 위해 사용된 추론 또한 신뢰할 수 있을 것이라는 가정이 바탕에 깔려 있었습니다.
하지만 최근의 한 연구는 이러한 안심할 만한 가정에 도전합니다. 싱가포르 국립대학교와 홍콩 폴리테크닉 대학교를 포함한 기관의 연구진은 이 AI 모델들이 진정으로 화학 문제를 통해 추론하고 있는 것인지, 아니면 단순히 과정 중에 내용을 지어내고 있는 것인지를 조사했습니다. 연구진은 모델이 사실이 아닌 것을 자신 있게 진술하는 '환각(hallucination)'이라는 특정 유형의 오류에 주목했습니다. 화학의 맥락에서 이는 모델이 특정 화학 그룹(예: 카르복실산)을 포함하고 있다고 주장하지만, 실제로는 그 그룹이 구조에서 빠져 있는 경우와 같은 모습으로 나타날 수 있습니다. 화학 구조는 정밀하며 기성 데이터베이스와 대조하여 확인할 수 있기 때문에, 이 분야는 AI의 설명이 실제와 일치하는지 테스트할 수 있는 드문 기회를 제공합니다. 연구진은 다음과 같은 질문을 던졌습니다. 모델이 정답을 맞혔을 때, 그것은 화학을 이해했기 때문인가, 아니면 단지 정답의 형태를 맞히면서 이를 정당화하기 위해 가짜 이야기를 지어낸 것인가?
이 질문에 답하기 위해 연구팀은 분자를 기술하는 것부터 새로운 분자를 설계하는 것에 이르기까지 12가지 서로 다른 화학 과업에 걸쳐 네 가지 다른 계열의 추론 모델을 분석했습니다. 그들은 모델이 작성한 추론 텍스트를 읽고 모든 개별 화학적 주장을 실제 분자 구조와 대조하여 확인하는 시스템을 구축했습니다. 그들이 발견한 결과는 놀라웠습니다. 환각 현상은 광범위하게 나타났습니다. 많은 경우, 모델은 완벽하게 정확한 분자 구조를 생성하면서도 서술된 설명에는 조작된 화학적 세부 사항을 포함했습니다. 예를 들어, 텍le 설명으로부터 분자를 생성하는 과업에서, 한 선도적인 모델의 응답 중 약 13%는 최종 출력물은 정확했으나, 함께 제시된 추론 텍스트에는 적어도 하나 이상의 지어낸 화학적 주장이 포함되어 있었습니다. 연구는 이러한 거짓말의 존재가 최종 답변의 정오(正誤) 여부와 거의 관련이 없음을 밝혀냈습니다. 모델은 결과물은 완전히 정확하면서도 추론은 거짓말로 가득 찰 수 있었고, 반대로 결과는 틀리면서 추론은 깨끗할 수도 있었습니다.
이러한 괴리는 작성된 추론이 결론에 도달하기 위한 과정의 충실한 기록이 항상은 아님을 시사합니다. 왜 이런 일이 발생하는지 이해하기 위해, 연구진은 모델의 출력을 의도적으로 변경하는 일련의 실험을 수행했습니다. 그들은 서술된 추론 텍스트를 가져와 화학 그룹의 이름을 잘못된 이름으로 교체했습니다. 놀랍게도, 이러한 언어적 주장을 바꾸는 것은 모델이 생성하는 최종 답변에 거의 영향을 미치지 않았습니다. 모델은 최종 구조를 생성할 때 자신의 서술된 설명을 무시하는 듯 보였습니다. 그러나 연구진이 원래의 입력값이나 모델이 작성한 내부 구조 스케치를 변경했을 때는 최종 답변이 극적으로 변했습니다. 이는 모델이 문제를 해결하기 위해 자신의 산문을 활용하는 것이 아니라, 추론 공간을 일종의 '분자 연습장'으로 사용하고 있음을 드러냈습니다.
연구진은 모델들이 종종 SMILES라고 불리는 형식, 즉 분자를 텍스트 문자열로 표현하는 방식으로 화학 구조의 파편들을 적어 내려간다는 것을 발견했습니다. 이 파편들은 모델이 최종 답변을 구축하는 데 사용하는 중간 노트 역할을 했습니다. 화학을 설명하는 읽기 쉬운 문장들은 종종 신뢰할 수 없고 조작되기 쉬웠지만, 이 구조적 초안들이 실제 계산의 무게를 견디고 있었습니다. 서로 다른 모델들은 이 연습장을 각기 다른 방식으로 사용했습니다. 어떤 모델은 이러한 텍스트 기반의 구조적 파편에 크게 의존한 반면, 다른 모델들은 분자의 모양이나 특정 부분의 위치와 같은 더 넓은 화학적 단서에 더 집중하는 듯 보였습니다. 연구는 읽기 쉬운 설명이 종종 사후 합리화, 즉 일이 끝난 뒤에 만들어진 이야기일 뿐이며, 실제 작업은 이러한 숨겨진 구조적 초안에서 이루어진다는 것을 보여주었습니다.
이러한 발견의 함의는 과학 분야에서 인공지능을 신뢰하고 사용하는 방식에 있어 매우 중요합니다. 만약 모델이 사용한 화학 그룹에 대해 거짓말을 하면서도 올바른 약물 후보를 만들어낼 수 있다면, 최종 답변에만 의존하는 것은 위험합니다. 모델이 화학을 이해하지 못했음에도 불구하고, 모델의 설명을 읽는 인간 화학자는 조작된 세부 사항에 속아 모델이 화학을 이해했다고 오해할 수 있습니다. 연구진은 모델이 더 정직해지도록 훈련하는 것이 가능하다는 것을 입증했습니다. 추론에 조작된 주장이 포함되지 않을 때만 모델에게 보상을 주는 새로운 훈련 방법을 만듦으로써, 연구진은 문제 해결 능력을 잃지 않으면서도 설명에서의 실수를 훨씬 줄인 버전의 모델을 제작했습니다. 'Chem-R-Faithful'이라 명명된 이 새로운 접근 방식은 과업 수행 능력은 유지하면서도 조작된 주장의 비율을 현저히 낮추었습니다.
궁극적으로, 이 연구는 화학 분야에서의 사고의 사슬 추론이 완벽한 설명도, 그렇다고 쓸모없는 부산물도 아님을 밝혀냅니다. 그것은 모델이 솔루션을 초안하는, 환각이 발생하기 쉬운 복잡한 작업 공간입니다. 읽기 쉬운 텍스트는 종종 신뢰할 수 없지만, 그 텍스트 안에 숨겨진 구조적 노트들은 정답을 얻는 데 필수적입니다. 이는 과학 분야에서 AI를 진정으로 신뢰하기 위해서, 우리는 단순히 최종 결과나 서술된 이야기만을 봐서는 안 된다는 것을 의미합니다. 우리는 과정 자체를 검증하는 새로운 방법을 개발해야 하며, 배후에 있는 구조적 초안과 논리를 확인해야 합니다. 이러한 도구들이 신약 개발과 분자 설계에서 점점 더 흔해짐에 따라, 추론 과정이 최종 보고서가 아닌 '작업용 초안'이라는 점을 이해하는 것은 미래의 화학 물질에 대한 안전과 정확성을 보장하는 데 필수적일 것입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.