💻 computer science

SchröMind: Mitigating Hallucinations in Multimodal Large Language Models via Solving the Schrödinger Bridge Problem

이 논문은 멀티모달 거대언어모델(MLLM)의 환각 현상을 줄이기 위해, 슈뢰딩거 브리지 문제(Schrödinger Bridge Problem)를 활용하여 환각 상태의 활성화 값을 진실된 상태로 최소 비용으로 매핑하는 새로운 프레임워크인 'SchröMind'를 제안합니다.

원저자: Ziqiang Shi, Rujie Liu, Shanshan Yu, Satoshi Munakata, Koichi Shirahata

게시일 2026-02-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ziqiang Shi, Rujie Liu, Shanshan Yu, Satoshi Munakata, Koichi Shirahata

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제 상황: "눈은 뜨고 있는데, 뇌가 헛것을 봐요"

우리가 아주 똑똑한 비서(AI)에게 사진 한 장을 보여주며 "이 사진에 뭐가 있어?"라고 물었다고 가정해 봅시다. 비서는 사진을 아주 잘 보고 있지만, 가끔씩 **"사진에는 사과가 없는데, 사과가 있네요!"**라고 아주 당당하게 거짓말을 합니다.

이게 왜 그럴까요? 비서의 '눈(이미지 인식 기능)'은 멀쩡한데, '생각하는 과정(언어 생성 기능)'에서 자꾸만 **자기가 평소에 자주 듣던 말(언어적 편향)**에 휘둘리기 때문입니다. 마치 눈앞에 빈 테이블이 있는데도, "보통 테이블 위에는 컵이 있지!"라는 고정관념 때문에 컵이 있다고 우기는 것과 같습니다.

기존의 해결책들은 비서에게 "거짓말하지 마!"라고 계속 잔소리를 하거나(재학습), 비서의 머릿속을 통째로 뜯어고치려 했습니다. 하지만 이건 돈도 많이 들고, 비서가 원래 잘하던 다른 능력까지 망가뜨릴 위험이 있었죠.

2. 해결책: "Schr¨oMind — AI를 위한 '정밀 내비게이션'"

연구진이 만든 **'Schr¨oMind(슈뢰밍드)'**는 비서의 머릿속을 통째로 바꾸는 대신, 비서가 '헛소리를 하려는 찰나의 생각(활성화 값)'을 '진실된 생각'으로 아주 부드럽게 꺾어주는 기술입니다.

여기서 핵심 개념인 **'슈뢰딩거 브릿지(Schrödinger Bridge)'**를 아주 쉬운 비유로 설명하자면 이렇습니다.

🌉 비유: "안개 속의 길 찾기"

비서의 머릿속에는 두 개의 섬이 있습니다.

A섬 (환각의 섬): 잘못된 정보와 고정관념이 가득한 안개 낀 섬.
B섬 (진실의 섬): 사진 속 실제 내용이 담긴 명확한 섬.

비서가 A섬(환각)으로 가려고 할 때, Schr¨oMind는 **A섬에서 B섬으로 가는 가장 짧고, 가장 에너지가 적게 드는 '최적의 다리(Bridge)'**를 놓아줍니다.

이 다리는 그냥 막 던져놓은 다리가 아닙니다. **'최적 운송(Optimal Transport)'**이라는 수학적 원리를 이용해, 비서가 원래 하려던 말의 흐름(문맥)을 최대한 깨뜨리지 않으면서도, 아주 미세하고 정교하게 방향만 "진실의 섬" 쪽으로 틀어주는 '정밀 내비게이션' 역할을 합니다.

3. 이 기술이 왜 대단한가요? (3가지 포인트)

"개인 맞춤형 교정" (Personalized Intervention):
기존 방식은 모든 잘못된 생각에 똑같은 약을 처방했다면, Schr¨oMind는 **"이 단어를 말할 때는 이 방향으로 틀어야 해"**라고 단어 하나하나, 상황 하나하나에 맞춰서 맞춤형으로 길을 안내합니다.
"가성비 끝판왕" (Lightweight & Plug-and-Play):
AI 모델 전체를 다시 가르칠 필요가 없습니다. 이미 완성된 AI에 이 '다리(교정 로직)'만 살짝 얹어주면 됩니다. 마치 스마트폰을 새로 사는 게 아니라, 아주 똑똑한 '내비게이션 앱' 하나를 설치하는 것과 같습니다.
"실력은 그대로, 거짓말만 쏙!" (Preserving Capabilities):
거짓말을 못 하게 만들려다 보니 AI가 멍청해지는 부작용이 생기곤 했는데, 이 방식은 AI가 원래 가진 똑똑한 능력은 그대로 유지하면서 '환각'이라는 나쁜 습관만 교정합니다.

4. 결론: "더 믿을 수 있는 AI의 탄생"

실험 결과, 이 기술은 의료 진단이나 자율 주행처럼 "틀리면 큰일 나는" 분야에서 매우 중요한 역할을 할 수 있음을 증명했습니다. 사진 속 물체를 제대로 인식하지 못해 발생하는 오류를 획기적으로 줄였고, 기존의 어떤 기술보다도 정확도가 높았습니다.

한 줄 요약:

"Schr¨oMind는 AI가 고정관념에 빠져 헛소리를 하려 할 때, 가장 자연스럽고 빠르게 진실로 돌아올 수 있도록 수학적인 '최단 경로 다리'를 놓아주는 기술입니다."

[기술 요약] Schr¨oMind: 슈뢰딩거 브릿지 문제를 통한 멀티모달 거대 언어 모델(MLLM)의 환각 현상 완화

1. 문제 정의 (Problem Statement)

최근 멀티모달 거대 언어 모델(MLLM)은 비전-언어 통합 처리 능력이 뛰어나지만, 시각적 입력과 생성된 텍스트가 일치하지 않는 '객체 환각(Object Hallucination)' 현상이 고질적인 문제로 남아 있습니다.

원인: 모델이 시각 정보보다 언어적 편향(Linguistic Priors)에 과도하게 의존하거나, 미세한 섭동(Perturbation)에도 주의(Attention) 메커니즘이 진실된 상태에서 거짓된 상태로 급격히 전환되기 때문입니다.
기존 방식의 한계: 기존의 완화 전략(미세 조정, 외부 지식 활용)은 막대한 계산 비용이 들며, 추론 시 개입하는 방식(Contrastive Decoding 등)은 모델의 유창성을 해치거나 지연 시간을 증가시킵니다. 특히 기존의 '활성화 엔지니어링(Activation Engineering)'은 모든 토큰에 동일한 방향의 보정 벡터를 적용하는 단순화된 방식을 사용하여, 토큰별로 다른 활성화 상태를 정밀하게 교정하지 못한다는 한계가 있습니다.

2. 제안 방법론 (Methodology: Schr¨oMind)

본 논문은 환각 활성화 분포( $P_{hallu}$ )를 진실된 활성화 분포( $P_{fact}$ )로 변환하는 과정을 **슈뢰딩거 브릿지 문제(Schrödinger Bridge Problem, SBP)**로 정식화하여 해결합니다.

핵심 아이디어: 각 토큰의 활성화 값은 고유한 위치에 있으므로, 일률적인 보정이 아닌 **토큰별 맞춤형 개입(Personalized Intervention)**이 필요합니다.
수학적 접근 (SBP/EOT):
- 엔트로피 정규화 최적 운송(Entropy-regularized Optimal Transport, EOT): 환각 분포와 사실 분포 사이의 이동 비용(Transport Cost)을 최소화하면서 두 분포를 연결하는 최적의 매핑 $\pi^*$ 를 찾습니다.
- 슈뢰딩거 브릿지(SBP): 정적인 매핑을 넘어, 시간 차원( $t \in [0, 1]$ )을 도입하여 환각 상태( $t=0$ )에서 사실 상태( $t=1$ )로 점진적으로 이동하는 확산 과정(Diffusion Process)을 모델링합니다. 이를 통해 활성화 값이 의미론적 불연속성 없이 부드럽게 교정되도록 유도합니다.
파이프라인 단계:
1. Head 선정: 로지스틱 회귀 분류기를 사용하여 환각에 가장 민감하게 반응하는 상위 $H$ 개의 어텐션 헤드를 식별합니다.
2. 분포 매핑: 가우시안 혼합 모델(Gaussian Mixture)을 사용하여 신뢰할 수 있는 잠재 분포( $v_\theta$ )를 근사하고, SBP를 통해 환각 활성화를 사실적 매니폴드(Manifold)로 이동시키는 드리프트(Drift) 함수 $g_\theta$ 를 계산합니다.
3. 이중 수준 개입: 이미지 전체 수준(Image-level)과 객체 특정 수준(Object-level)의 섭동을 모두 고려하여 정밀도를 높입니다.

3. 주요 기여 (Key Contributions)

개인화된 개입 프레임워크: 활성화 교정 문제를 환각 매니폴드와 진실 매니폴드 사이의 최적 운송 문제로 공식화하여 토큰별 맞춤형 교정을 구현했습니다.
최초의 SBP 기반 토큰 레벨 개입: 슈뢰딩거 브릿지 이론을 MLLM의 토큰 단위 활성화 제어에 최초로 적용하였으며, 단 몇 분의 학습만으로 즉시 적용 가능한 '플러그 앤 플레이(Plug-and-play)' 방식을 제안했습니다.
최첨단 성능 달성: 기존의 SOTA(State-of-the-art) 방법론들을 뛰어넘는 성능을 입증했습니다.

4. 실험 결과 (Results)

POPE 벤치마크 (객체 환각 평가): LLaVA-1.5-7B 및 Qwen2.5-VL-7B 모델 모두에서 기존 방식(ICT, VCD, OPERA 등)보다 우수한 성능을 보였습니다. 특히, 모델이 가장 취약한 'Adversarial(적대적)' 질문 세트에서 정확도와 F1 스코어를 크게 향상시켜 높은 신뢰성을 입증했습니다.
MME 벤치마크 (종합 인지 능력 평가): 객체 존재 여부, 위치, 개수, 색상 인식 및 상식 추론 등 다양한 차원에서 성능 향상을 보였습니다. 특히 위치(Position)와 개수(Count) 작업에서 탁월한 개선을 보였습니다.
효율성: 추가적인 모델 파라미터 업데이트 없이 매우 적은 계산 오버헤드만으로 성능을 극대화했습니다.

5. 의의 (Significance)

Schr¨oMind는 MLLM의 고질적인 문제인 환각을 해결하기 위해 확률론적 최적 운송 이론을 결합한 혁신적인 접근법을 제시했습니다. 이 방법은 모델의 기존 지식이나 유창성을 훼손하지 않으면서도, 추론 과정에서 활성화 경로를 정밀하게 수정함으로써 의료 진단이나 자율 주행과 같이 안전성이 극도로 중요한(Safety-critical) 분야에서 MLLM의 활용 가능성을 크게 높였다는 점에서 중요한 의의를 가집니다.