💻 computer science

Game Theory Driven Multi-Agent Framework Mitigates Language Model Hallucination

이 논문은 게임 이론 기반의 멀티 에이전트 프레임워크인 G-Frame을 소개하며, 이는 특화된 학습 데이터를 합성하여 과학 분야에서 GPT-4o mini 수준의 성능을 달성하는 동시에 구조적이고 공리적인 추론을 통해 환각 현상을 현저히 줄인 7B 언어 모델인 OmniChem을 생성합니다.

원저자: Runzhe Liu, Biquan Bie, Zihao Wang, Yuchao Ma, Yexin Liu, Xinghai Li, Harry Yang, Wenbo Yang, Jinzhe Cao, Shengyang Tao

게시일 2026-07-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Runzhe Liu, Biquan Bie, Zihao Wang, Yuchao Ma, Yexin Liu, Xinghai Li, Harry Yang, Wenbo Yang, Jinzhe Cao, Shengyang Tao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 수백만 권의 책을 읽고 몇 초 만에 이야기를 쓸 수 있는, 매우 똑똑하고 매우 빠른 로봇 비서가 있다고 상상해 보세요. 하지만 한 가지 함정이 있습니다. 이 로봇은 약간의 공상가 기질이 있어서, 당신이 까다로운 과학 질문을 던지면 완벽하게 들리지만 실제로는 완전히 틀린 사실들을 지어내곤 합니다. 이를 "환각(hallucination)"이라고 부르며, 이는 새로운 약물이나 신소재를 설계하려는 사람들에게는 매우 큰 문제입니다.

당신이 읽고 있는 이 논문은 이 공상가 문제를 해결하기 위해 G-Frame이라는 영리한 새로운 시스템을 소개합니다. G-Frame을 단일 로봇이 아니라, 고도의 긴장감이 흐르는 게임 쇼의 패널들처럼 협력하는 특화된 에이전트 팀이라고 생각해보세요.

문제점: 공상하는 로봇

표준 AI 모델은 문장이 어떻게 '보이는지'는 잘 기억하지만, 논리나 물리학의 엄격한 규칙을 이해하는 데는 서툰 학생과 같습니다. 만약 당신이 가볍고 빠른(작은) AI 모델에게 화학 반응을 설계하라고 요청한다면, 그 모델은 실제 존재하는 것처럼 보이지만 실제로는 존재할 수 없는 분자를 만들어낼 수도 있습니다. 논문은 단순히 AI를 더 크게 만들거나 더 많은 데이터를 주는 것만이 정답은 아니라고 주장합니다. AI는 단순히 다음에 올 내용을 추측하는 것이 아니라, 엄격한 "게임의 규칙"(공리적 추론)을 따르는 법을 배워야 합니다.

해결책: 게임을 수행하는 팀

연구진은 AI가 공상을 멈추고 논리적으로 생각하도록 강제하기 위해 두 가지 주요 게임 전략을 사용하는 G-Frame을 구축했습니다.

팀 게임 ( "단계별로 나누기" 전략):
복잡한 화학 문제가 거대하고 무시무시한 산이라고 상상해 보세요. 혼자서 그 산을 오르려는 단일 로봇은 길을 잃고 미끄러질 수 있습니다. G-Frame은 이 산을 작고 관리 가능한 단계들로 나눕니다. 그리고 특정 작업들을 처리하기 위해 서로 다른 "에이전트"(작은 로봇 조수들)를 배정합니다. 한 에이전트는 데이터를 정제하고, 다른 에이전트는 논리를 점검하며, 세 번째 에이전트는 엄격한 감독관 역할을 합니다. 이들은 서로의 숙제를 검사하며 업무를 전달합니다. 이는 AI가 압도당해 침묵을 메우기 위해 사실을 지어내는 것을 방지합니다.
베이지안 게임 ( "스마트한 도박사" 전략):
이 부분은 새로운 카드가 나올 때마다 끊임없이 전략을 업데이트하는 포커 플레이어와 같습니다. 시스템은 단순히 추측하는 것이 아니라, "사전(prior)" 추측(자신이 아는 바를 바탕으로 한 최선의 추측)을 한 다음 결과를 확인합니다. 만약 결과가 이상해 보이면, 자신의 "믿음"을 업데이트하고 다시 시도합니다. 이 루프를 반복하며 결정 사항을 정교화하여, 화학의 엄격한 규칙에 부합하는 가장 논리적인 답을 찾아냅니다.

결과: OmniChem를 만나다

이 게임 플레이 프레임워크를 사용하여, 연구진은 OmniChem이라는 이름의 새로운 70억 파라미터 AI 모델을 훈련시켰습니다. 그들은 단순히 무작위로 책을 읽힌 것이 아니라, G-Frame을 사용하여 화학 분야에 특화된 **363,045개의 사고의 사슬(chains-of-thought, 단계별 추론 가이드)**과 199,589개의 질의응답 쌍으로 구성된 방대한 라이브러리를 생성했습니다.

결과는 인상적입니다:

성능: OmniChem은 커스텀 화학 테스트와 ChemBench 벤치마크에서 유명한 GPT-4o mini만큼 우수한 성능을 보여주었습니다.
환각 감소: 기본 버전과 비교했을 때, OmniChem은 "공상"(환각)을 무려 **79.46%**나 줄였습니다.
실제 기술: 이 모델은 단순히 테스트에만 강한 것이 아니었습니다. OmniChem은 심적외선을 흡수하는 새로운 분자를 설계하는 데 성공했고, 흔한 마취제인 **리도카인(lidocaine)**을 단 두 단계 만에 만드는 방법을 알아냈으며, 심지어 딥 블루 소재를 만드는 것에 대한 상세한 연구 보고서를 작성하여 Gemini나 GPT-o3와 같은 최고 수준의 AI 모델들이 작성한 보고서 품질의 **90%**에 달하는 점수를 받았습니다.

이것이 의미하는 바

이 논문은 AI 훈련을 엄격한 규칙과 팀워크가 있는 구조화된 게임처럼 다룸으로써, 우리는 더 작고 빠른 모델들이 신뢰할 수 있는 과학자가 되도록 가르칠 수 있다는 점을 시사합니다. 모델이 훌륭한 일을 하기 위해 반드시 거대하고 비싼 슈퍼컴퓨터일 필요는 없습니다. 그저 적절한 "게임 계획"이 있으면 됩니다.

연구진은 다른 이들도 자신들의 과학 분야에 이 "팀 게임" 접근 방식을 적용해 볼 수 있도록 코드와 데이터를 공개했습니다. 이는 AI를 단순한 창의적 이야기꾼이 아닌, 발견을 위한 신뢰할 수 있는 파트너로 만드는 유망한 새로운 방법입니다.

기술 요약: 게임 이론 기반 멀티 에이전트 프레임워크를 통한 언어 모델 환각 현상 완화

문제 정의

화학론과 같이 엄격한 규칙 기반의 과학 분야에서 경량 대규모 언어 모델(LLM)을 적용하는 것은, 이들이 그럴듯해 보이지만 사실과 다른 텍스트를 생성하는 경향(환각 현상)으로 인해 심각하게 제한됩니다. 이 문제는 표준적인 LLM의 확률적, 자기회귀적 특성에서 기인하며, 이는 모델이 공리적인 물리적 제약 조건을 내재화하거나 구조화된 전문가적 추론을 재현하는 데 어려움을 겪게 합니다. 작업 특화형 미세 조정(Fine-tuning)은 더 큰 모델과 대등한 성능을 낮은 계산 비용으로 달로 제공할 수 있는 경로를 제시하지만, 도구 통합이나 표준 지도 학습 미세 조정과 같은 기존 방식은 데이터 주권, 특수 데이터 가용성, 그리고 모델 고유의 추론 결함을 완전히 교정할 수 없는 한계에 직면해 있습니다. 특히 경량 모델은 생성 과정에서 높은 엔트로피와 전역적 계획 능력의 부재를 보이며, 이는 복잡하고 다단계적인 과학적 과업에서 오류 누적으로 이어집니다.

방법론: G-Frame 프레임워크

이러한 과제를 해결하기 위해 저자들은 **팀 게임(Team Game)**과 베이지안 게임(Bayesian Game) 원칙을 통합하여 고품질 데이터 합성 및 모델 학습을 위한 자동화된 폐쇄 루프 시스템을 구축하는 적응형 멀티 에이전트 프레임워크인 G-Frame을 개발했습니다. 이 프레임워크는 의사결정 에이전트(Decisional Agents), 태스크 에이전트(Task Agents), **실행 에이전트(Executive Agents)**의 세 가지 핵심 계층으로 구성된 계층적 확률 최적화 아키텍처로 작동합니다.

1. 이론적 기초

팀 게임 메커니즘 (미시적 수준): 이 구성 요소는 거시적 과업을 잘 정의된 하위 과업으로 분해함으로써 경량 LLM의 높은 엔트로피와 추론 실패 문제를 해결합니다. 태스크 에이전트는 기호 정제, 의미론적 완성 등 세분화된 역할을 가진 마이크로 멀티 에이전트 시스템(2~3개의 실행 에이전트)을 조율합니다. 이 에이전트들은 중간 상태를 공유하고 사전 설정된 효용 함수를 극대화하기 위해 협력합니다. 이 과정은 분포 정제 메커니즘으로서, 생성된 분포와 실제 분포 사이의 쿨백-라이블러(KL) 발산을 최소화함으로써 각 단계에서 정보 엔트로피를 제한하고 구조적으로 환각을 억제합니다.
베이지안 게임 메커니즘 (거시적 수준): 이 구성 요소는 장기적 의사결정 과정에서의 전역적 계획 및 동적 신념 상태의 부재를 해결합니다. 의사결정 에이전트는 시스템 상태를 모니터링하고, 태스크 에이전트들의 결합 유형 공간(joint type space)을 기반으로 워크플로우 및 운영 파라미터에 대한 사전 정책을 수립합니다. 지속적인 피드백을 통해, 에이전트는 최적의 사후 결정을 도출하여 글로벌 페이오프(payoff) 함수을 극대화하도록 유형 공간에 대한 신념을 반복적으로 업데이트합니다. 이는 LLM이 개방형 생성기가 아닌 제약된 정책 제안자로서 작동하도록 강제하여, 불확전성 정량화의 결함을 보완합니다.

2. 구현 워크플로우

본 프레임워크는 세 가지 뚜렷한 단계를 통해 OmniChem(7B 파라미터 규모의 화학 추론 LLM)을 구축하는 데 적용되었습니다.

데이터 전처리: 팀 게임 전략을 사용하여 약 50만 편의 논문 및 서적에서 유도된 50억 토큰 규모의 화학 코퍼스를 정제했습니다. 실행 에이전트들은 기호 정제, 의미론적 완성, 구조적 정규화를 처리하여 문자 오류율(CER) 0.5% 미만, 문장 부호 정확도 99% 이상을 달자했습니다.
데이터 합성:
- 데이터 증강: 팀 게임 모델은 초급, 중급, 고급 전문가 페르소나를 시뮬레이션하여 다양한 서사 스타일을 가진 텍스트 변형을 생성함으로써 프리트레이닝 데이터의 스타일적 격차를 해소했습니다.
- 질의응답(QA) 생성: 교사(Teacher), 학생(Student), 감독관(Supervisor) 에이전트가 참여하는 다회차 생성-평가-교정 사이클을 통해 199,589개의 고품질 질문-답변 쌍을 생성했습니다. 이 과정은 단일 LLM 방식 대비 SQuAD 벤치마크에서 F1 점수를 20~40% 향상시켰습니다.
- 사고의 사슬(CoT) 합성: 데이터 증류(distillation)와 멀티 에이전트 방식을 통해 화학 특유의 구조화된 인과 추론을 내재화할 수 있는 363,045개의 화학 CoT 코퍼스를 합성했습니다.
적응형 학습: 프레임워크는 베이지안 게임 메커니즘을 활용하여 하이퍼파라미터 최적화를 자율적으로 제어했습니다. 의사결정 에이전트는 환각 정확도와 출력 구조에 대한 성능을 점수화하는 LLM 기반 심판인 ChemJudge로부터 실시간 피드백을 받아 학습률과 데이터 증강 전략을 조정했습니다. 이 단계에는 지속적 사전 학습(continued pre-training), 지도 학습 미세 조정, 그리고 파괴적 망각(catastrophic forgetting)을 완화하고 경계 행동을 정렬하기 위한 적응형 학습이 포함되었습니다.

주요 결과

결과물인 OmniChem 모델은 추론 능력과 사실적 정확도에서 유의미한 개선을 보여주었습니다.

환각 감소: OmniChem은 ChemJudge 벤치마크(Gemini 3.1 Pro가 평가한 471개 질문) 기준으로 기본 아키텍처 대비 79.46%의 환각 감소를 나타냈습니다.
벤치마크 성능: ThChem 추론 벤치마크에서 OmniChem은 ThChem 1.0에서 79.45%, ThChem 2.0에서 **62.08%**의 정확도를 달성했습니다. ChemBench에서는 **49.82%**를 기록했습니다. 이러한 결과는 GPT-4o mini와 대등한 성능을 보이며, GPT-o3 수준(GPT-o3 성능의 80~97% 도달)에 근접했음을 나타냅니다.
도메인 응용: 모델은 다음과 같은 고급 역량을 성공적으로 입증했습니다.
- 분자 설계: 심적색 흡수를 위한 BODIPY 유도체를 정확히 설계하고, D-π-A 구조를 제안하며, DFT 계산을 통해 검증했습니다(예측 $\lambda_{max}$ 709 nm).
- 물리화학적 최적화: 아르기닌 또는 설포베테인 모이어티를 도입하여 BODIPY 코어의 수용성을 개선하였으며, 이는 계산된 logP 감소치로 정량화되었습니다.
- 역합성 계획: 확립된 상업적 방식과 일치하는 리도카인의 간결하고 화학적으로 타당한 2단계 합성 경로를 생성했습니다.
- 심층 연구: 복잡한 주제(예: TADF 재료)에 대한 학술 보고서를 생성하였으며, LLM-as-a-Judge 평가에서 GPT-o3 및 Gemini 수준의 90%에 달하는 점수를 받았습니다.

의의 및 주장

본 논문은 전문적인 과학 분야에 인공지능을 적용하기 위한 확장 가능한 패러다임을 구축했다고 주장합니다. 경량 LLM의 고유한 추론 결함을 극래하기 위해 적응형 멀티 에이전트를 활용함으로써, 본 프레임워크는 지식 발견을 가속화할 수 있는 실행 가능한 경로를 제공합니다. 저자들은 물리적 원리(프리트레이닝을 통해 내재화됨)와 논리적 추론 패턴(CoT 미세 조정을 통해 인코딩됨)이라는 이중 제약이 과학 도메인에서 환각을 완화하는 데 핵심적이라고 상정합니다.

이 연구는 이 접근 방식이 보안성이 확보된 로컬 배포 옵션을 유지하면서도 높은 신뢰성을 유지할 수 있는, 도메인 특화 경량 LLM을 구축하기 위한 체계적인 솔루션을 제공한다는 점을 강조합니다. 저자들은 연구의 재현성과 과학적 AI 분야의 발전을 촉진하기 위해 G-Frame 프레임워크 코드, 벤치마크 데이터셋 및 OmniChem 모델을 공개하였습니다.