💻 computer science

DiffuseAgent-MI: Distributionally-Grounded,Tool-Integrated Self-Evolving Agents for Faithful Visual Reasoning

DiffuseAgent-MI는 분포적 지각 접지(distributional perceptual grounding)를 위한 KL-최소 에너지 모델과 궤적 수준의 일관성을 위한 검증기 기반 복구 메커니즘을 결합하여 충실한 시각적 추론을 보장함으로써 다양한 멀티모달 벤치마크 전반에서 정확도와 해석 가능성을 모두 크게 향상시키는 자기 진화형 도구 통합 에이전트이다.

원저자: An Lanji, Dawei Liu, Jin Li, Haoran Xu, Mei Chen, Yu Tian

게시일 2026-08-04

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: An Lanji, Dawei Liu, Jin Li, Haoran Xu, Mei Chen, Yu Tian

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 탐정이 되는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇이 사진을 보고, 미스터리를 풀고, 그 과정을 정확히 어떻게 해결했는지 설명하도록 만들고 싶습니다. 인공지능의 세계에서 이러한 "탐정"들은 **시각-언어 에이전트(Vision-Language Agents)**라고 불립니다. 이들은 이미지를 보고 그것에 대해 이야기할 수 있는 매우 똑똑한 컴퓨터 프로그램입니다. 오랫동안 이 로봇들은 퍼즐을 푸는 데 매우 능숙해졌지만, 한 가지 은밀한 습관이 있습니다. 때때로 정답은 맞히지만, 그 답을 어떻게 찾아냈는지에 대해서는 거짓말을 한다는 것입니다. 이는 마치 수학 시험에서 정답은 맞혔지만, 풀이 과정에는 완전히 지어낸 공식을 적어 넣는 학생과 같습니다. 이는 위험한 일입니다. 왜냐하면 우리가 그들의 추론을 신뢰할 수 없다면, 질병을 진단하거나 자율주행 자동차를 운행하는 것과 같은 중요한 업무에서도 그들을 신뢰할 수 없기 때문입니다.

이를 해결하기 위해 과학자들은 두 가지 서로 다른 아이디어를 살펴보고 있습니다. 첫 번째는 **기계적 해석 가능성(Mechanistic Interpretability)**으로, 이는 시계의 바늘을 움직이게 만드는 특정 톱니바퀴를 찾아내는 것과 같습니다. 과학자들은 로봇의 뇌 속에서 실제로 일을 하고 있는 구체적인 "특징 단위(feature units)"(작고 특정한 부분들)를 찾고자 합니다. 두 번째 아이디어는 **자기 진화형 에이전트(Self-Evolving Agents)**로, 이는 "시도하고, 실패하고, 다시 시도하며" 배우는 게임을 통해 점점 더 나아지는 로봇입니다. 큰 질문은 이것입니다. 이 두 가지 아이디어를 결합할 수 있을까요? 단순히 정답을 맞히는 것을 넘어, 자신이 사용한 올바른 톱니바퀴를 사용하여 답을 냈음을 증명하고, 만약 거짓말을 하기 시작하면 스스로를 수정할 수 있는 로봇을 만들 수 있을까요?

이것이 바로 DiffuseAgent-MI라는 논문이 다루고자 하는 내용입니다. 연구진은 매우 엄격하고 정직한 탐정처럼 행동하는 새로운 종류의 에이전트를 구축했습니다. 그들은 "진실 확인" 시스템과 "자기 개선" 루프를 결합함으로써, 속임수에 훨씬 더 강하고 진실을 말하는 능력이 뛰어난 에이전트를 만들 수 있다는 것을 발견했습니다.

문제점: "정답은 맞지만, 이유는 틀린" 함정

당신이 로봇에게 "이 사진 속 산에서 가장 높은 지점은 어디인가요?"라고 묻는다고 상상해 보세요. 일반적인 로봇은 사진을 보고 "왼쪽 봉우리입니다"라고 추측한 뒤, "왼쪽이 더 높아 보이기 때문에 그렇게 알고 있습니다"라고 말할 것입니다. 하지만 로봇의 내부 뇌를 확인해 보면, 사실 로봇은 오른쪽의 그림자를 보고 있었고, 단지 운 좋게 정답을 맞힌 것일 수도 있습니다. 답은 맞았지만, 그 추론은 환각(hallination)인 것입니다. 의료 스캔 영상을 판독하는 것과 같은 고도의 정밀함이 필요한 상황에서 이는 재앙입니다. 당신은 로봇이 종양이 있다고 생각하는지 여부뿐만 아니라, 왜 종양이 있다고 생각하는지도 알아야 합니다.

해결책: "진실 나침반"과 "수정 루프"를 가진 로봇

저자들은 로봇이 정직해지도록 강제하는 세 가지 주요 기술을 사용하는 DiffuseAgent-MI 시스템을 만들었습니다.

1. "진실 나침반" (에너지 모델)
로봇의 뇌를 광활하고 안개가 자욱한 풍경이라고 생각해 보세요. 보통 로봇은 답을 찾기 위해 이 풍경 속을 헤맵니다. 때때로 로봇은 이야기를 지어내는 안개 낀 구역으로 들어서기도 합니다. 연구진은 **KL-최소 에너지 모델(KL-minimal energy model)**이라는 것에 기반한 "진실 나침반"을 추가했습니다.

여기 비유가 있습니다. 로봇에게 "정상적인" 사진들에 대한 지도(사전 확률)가 있다고 상상해 보세요. 로봇이 문제를 풀어야 할 때, "빨간 자동차"나 "가파른 경사"와 같이 집중해야 할 특정 "특징"을 선택해야 합니다. 진실 나침반은 이렇게 말합니다. "좋아, 너는 빨간 자동차에 집중해야 해. 하지만 빨간 자동차가 어떻게 생겼는지에 대한 정상적인 지도에서 너무 멀어져서는 안 돼." 이 나침반은 로봇이 말을 내뱉기 전부터, 내부의 "톱니바퀴"가 올바른 방향으로 돌아가고 있도록 부드럽게 밀어줍니다. 이는 로봇의 생각이 올바른 단서에 머물도록 보장합니다.

2. "정직 코치" (검증기)
나침반이 있어도 로봇은 여전히 허세를 부릴 수 있습니다. 그래서 시스템에는 **검증기(Verifier)**가 포함되어 있습니다. 이것은 로봇의 단계별 추론을 채점하는 엄격한 선생님과 같습니다. 로봇이 한 단계(예: "빨간 자동차가 보인다")를 밟으면, 검증기는 다음과 같이 확인합니다. "너는 정말로 빨간 자동차를 본 것이냐, 아니면 똑똑해 보이려고 그냥 그렇게 말한 것이냐?"

만약 로봇이 거짓말을 하고 있다면, 검증기는 레드 플래그를 올립니다. 검증기는 단순히 "틀렸다"라고 말하는 것이 아니라, "너의 추론이 너의 뇌 활동과 일치하지 않는다"라고 말합니다.

3. "다시 하기" 버튼 (복구 분기)
이 부분이 가장 멋진 부분입니다. 검증기가 로봇의 거짓말을 잡아내면, 시스템은 그냥 포기하지 않습니다. **복구 분기(Repair Branch)**를 실행합니다. 시스템은 로봇에게 이렇게 말합니다. "좋아, 네가 실수했어. 다시 돌아가서 사진을 다시 보고, 이번에는 네 추론이 실제 사용한 특징과 일과치하도록 해." 그러면 로봇은 답변을 다시 샘플링하며, 추론이 올바르게 될 때까지 효과적으로 "다시 하기" 버튼을 누르는 과정을 거칩니다.

연구 결과

팀은 이 새로운 에이전트를 기하학 문제(GeoQA), 과학 차트(SciVis), 일반 시각 질문(VQA-v2), 그리고 커스텀 복합 추론 작업 등 네 가지 도전 과제에 테스트했습니다.

결과는 인상적이었습니다. 새로운 에이전트는 단순히 거짓말을 덜 하는 데 그치지 않고, 모든 면에서 더 나아졌습니다.

정확도: 기하학 테스트에서 새로운 에이전트는 이전의 최고 성능을 보였던 자기 진화형 에이전트들에 비해 점수가 5.1점 향상되었습니다.
정직성: 가장 큰 승리는 "충실도(faithfulness)"였습니다. 연구진은 로봇의 설명이 실제 내부 뇌 활동과 얼마나 일치하는지를 측정했습니다. 그 결과, 새로운 에이전트는 기존 방식에 비해 로봇의 설명과 내부 현실 사이의 일치도가 두 배 이상 높았습니다.
인간의 신뢰: 인간이 로봇의 설명을 검토했을 때, 로봇의 논리에 동의하는 비율은 **88.9%**였으며, 이는 기존 방식의 **44.1%**와 비교했을 때 엄청난 도약입니다.

이것이 중요한 이유

이 논문은 로봇이 정답을 맞히는 것에만 의존해서도 안 되고, 로봇이 스스로를 설명하는 것에만 의존해서도 안 된다는 것을 보여줍니다. 둘 다 필요합니다. "진실 나침반"은 로봇의 뇌가 현실에 기반하도록 보장하며, "정호 코치"와 "다시 하기" 버튼은 로봇이 가짜 이야기를 늘어놓고 넘어가지 못하게 합니다.

연구진은 또한 이 두 부분이 함께 작동할 때 가장 효과적이라는 것을 증证明했습니다. 나침반을 제거하면 로봇은 정답은 맞히지만 어떻게 했는지에 대해 거짓말을 합니다. 코치를 제거하면 로봇은 정직하려고 노력하지만 때때로 안개 속을 헤매게 됩니다. 두 가지가 모두 갖춰졌을 때만 똑똑하면서도 신뢰할 수 있는 로봇을 얻을 수 있습니다.

결국, DiffuseAgent-MI는 신뢰할 수 있는 AI의 미래가 단순히 더 똑똑한 로봇을 만드는 것이 아니라, 자신의 작업을 스스로 점검하도록 설계되어 진실을 말할 수밖에 없는 로봇을 만드는 데 있다는 것을 시사합니다. 이는 우리가 눈과 마음을 믿고 맡길 수 있는 AI를 향한 한 걸음입니다.

기술 요약: DiffuseAgent-MI

1. 문제 정의

도구 통합형 시각-언어 에이전트(VLM)는 구성적(compositional) 및 다단계 시각 추론 분야에서 크게 발전했습니다. 그러나 하나의 결정적인 신뢰성 문제가 남아 있습니다: 바로 **불충실성(unfaithfulness)**입니다. 고도의 정밀도가 요구되는 도메인(예: 의료 영상, 과학적 도표 해석)에서, 에이전트는 수치적으로는 정답을 도출할 수 있지만, 명시된 추론 경로가 실제 정답을 생성한 내부 연산과 일치하지 않는 현상이 발생할 수 있습니다.

현재의 접근 방식은 일반적으로 두 가지 독립적인 영역으로 나뉩니다:

기계적 해석 가능성(Mechanistic Interpretability): 예측을 인과적으로 지원하는 희소 특징 단위(잠재 공간에서의 방향)를 식별하는 데 집중하며, 종종 분포적 관점(예: KL-최소 제약 조건)을 사용하여 충실한 샘플을 정의합니다.
자기 진화형 에이전트(Self-Evolving Agents): 출력을 성찰하고 보상을 통해 정책을 업데이트함으로써 성능을 개선합니다. 그러나 이러한 보상은 대개 정답 수준에 머물러 있어, '정답은 맞지만 불충실한 궤적'과 '진정으로 충실한 궤적'을 구분하지 못합니다.

본 연구가 다루는 핵심 문제는 에이전트의 설명이 예측을 실제로 구동하는 특정 특징 단위를 명시하도록 보장하는 통합 프레임워크의 부재이며, 이를 통해 내부 표현과 외부 설명 사이의 간극을 메우고자 합니다.

2. 방법론: DiffuseAgent-MI

DiffuseAgent-MI는 분포 기반 에너지 모델(distributionally-grounded energy model), 도구 통합 추론(tool-integrated reasoning), 그리고 **검증자-수정 루프(verifier-repair loop)**를 결로부터 결합한 자기 진화형 에이전트입니다. 이 아키텍처는 세 가지 시너지 구성 요소를 통해 작동합니다:

A. KL-최소 에너지 모델 (분포적 근거 설정)

에이전트는 지각적 근거 설정을 제어하기 위해 특징 단위 공간에 대해 정의된 에너지 모델 $E_\phi$ 를 사용합니다.

원리: 충실성에 대한 분포적 관점에 기초하여, 충실한 샘플이란 타겟 특징 단위 제약을 만족하면서도 고유의 사전 확률(native prior)을 최소한으로 섭동(perturbing)시키는(즉, KL 발산을 최소화하는) 샘를 의미합니다.
정식화:
$E_\phi(x; c) = -\log p_0(x) + \lambda \ell(\langle \Phi(x), c \rangle, \alpha)$
여기서 $p_0$ 는 이미지 사전 확률, $\Phi(x)$ 는 특징 단위 활성화, $c$ 는 선택된 해석 가능한 단위, $\ell$ 은 소프트 제약 조건입니다.
기능: 확산 모델(diffusion model)에서 $\exp(-E_\phi)$ 하에 샘플링함으로써, 선택된 단위 $c$ 에 고정된 고유 사전 확률에 맞춰 생성을 재조건화(re-conditioning)합니다. 이는 충실성을 위한 구체적인 최적화 목표를 제공하여, 샘플이 해당 단위에 조건화된 사전 확률 근처에 위치하도록 보장합니다.

B. 충실성 인지 보상을 통한 도구 통합 자기 진화

솔버(solver)는 외부 도구(시각적 QA, 로컬라이제이션, 캡셔닝)와 추론을 교차 수행하며, 자기 보상을 통해 정책을 업데이트합니다.

보상 구조: 보상 함수는 명시적으로 에너지 항을 포함합니다:
$\pi_{t+1} = \arg \max_\pi \mathbb{E}_{z \sim A_\pi} [r(z) - \beta E_\phi(x^\star; c)]$
여기서 $r(z)$ 는 태스크 보상이며, $\beta$ 는 정답 정확도 대비 충실성의 가중치를 조절합니다.
메커니즘: 약한 단위에 묶여 있으면서 사전 확률에서 크게 벗어나는 샘플에 페널티를 부여함으로써, 정책이 그럴듯하지만 근거가 없는 추론을 생성하지 않도록 억제합니다. 이를 통해 개선의 방향이 단순히 높은 정확도가 아닌, 충실한 행동으로 유도됩니다.

C. 검증자 및 수정 루프 (궤적 수준의 근거 설정)

검증자 $V$ 는 추론 궤적의 각 단계가 명시된 특징 단위에 근거하고 있는지 평가합니다.

프로세스: 검증자는 충실도 점수와 이진 플래그 $f$ 를 출력합니다.
수정 분기(Repair Branch): 만약 $f$ 가 불충실한 단계를 나타내면, 수정 분기는 특징 단위 강조를 강화하고( $c \leftarrow c + \eta \nabla_c E_\phi$ ) 다시 샘플링합니다.
상호 보완성: 에너지 모델은 분포적 충실성(샘플이 $c$ 에 조건화된 사전 확률에 근접함)을 보장하고, 검증자는 궤적 충실성(추론이 실제로 사용된 단위를 명시적으로 언급함)을 보장합니다.

3. 주요 기여

분포 기반 에너지: 확산 생성을 재조건화하는 특징 단위에 대한 KL-최소 에너지 모델을 도입하여, "충실성"이라는 추상적인 열망을 확률 측도에 대한 잘 정의된 최적화 문제로 전환했습니다.
도구 통합 자기 진화: 자기 개선 루프가 에너지 항에 의해 명시적으로 가이드되는 프레임워크를 제시하여, 정책 업데이트가 정답의 정확성과 함께 충실한 행동을 우선시하도록 보장합니다.
검증자-수정 루프: 궤적 수준의 피드백을 제공하는 메커니즘을 구축했습니다. 특정 단계가 불충실하다고 판정되면 시스템은 에너지를 재조건화하고 다시 샘플링함으로써, 분포적 제약과 명시적 추론 검증 사이의 루프를 효과적으로 닫습니다.
이론적 상호 보완성: 에너지 모델이나 검증자 단독으로는 충분하지 않다는 이론적 증명(Theorem 3.1)을 제시했습니다. 에너지는 분포 변화를 방지하고, 검증자는 명시된 추론을 감독합니다. 오직 이들의 결합만이 분포적 충실성과 궤적 충실성을 모두 보장합니다.

4. 실험 결과

본 방법론은 GeoQA, SciVis, VQA-v2, 그리고 자체 제작한 멀티모달 추론(MMR) 데이터셋에서 평가되었습니다.

정확도: DiffuseAgent-MI는 기존의 자기 진화형 에이전트들을 능가했습니다. GeoQA에서 최대 5.1 포인트(강력한 베이스라인인 78.3% 대비 83.4%)를 개선했으며, MMR에서도 4.1 포인트를 개선했습니다. 이러한 이득은 다단계 공간 및 인과 추론이 필요한 작업에서 가장 두드let게 나타났습니다.
충실도 지표:
- MI-Faith (정렬 AUROC): 75.4% (Agent0-VL)에서 **94.7%**로 향상되었습니다.
- MI-Interp (인간 해석 일치도): 70.5%에서 **88.9%**로 향상되었으며, 이는 ReAct 베이스라인의 해석 가능성을 두 배 이상 높인 수치입니다.
효율성: 일반 에이전트 대비 상대적인 연산량 증가량은 매우 적었습니다(1.12배). 이는 에너지 항이 경량화된 점수 교정 역할을 하고 검증자가 작은 분류기이기 때문입니다.
어블레이션 연구(Ablation Studies):
- 에너지 항을 제거하면 충실도 지표가 붕괴되었습니다(MI-Faith가 71.6%로 하락). 반면 정확도는 대체로 유지되었습니다.
- 검증자 또는 수정 분기를 제거하면 궤적 수준의 근거 설정이 저하되었으며, 이는 분포적 제약만으로는 명시된 추론을 감독할 수 없음을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 DiffuseAgent-MI가 기계적 해석 가능성을 자기 개선과 결합함으로써 신뢰할 수 있고 설명 가능한 시각 에이전트를 향한 중요한 진전임을 주장합니다.

간극 해소: 정답은 맞지만 내부 프로세스는 불충실한 현상, 즉 안전이 중요한 애플리케이션에서 치명적인 문제를 해결합니다.
충실성의 구체화: 충실성을 사후 설명(post-hoc explanation)이 아닌 분포 최적화 문제(KL-최소 소프트 제약)로 취급함으로써, 내부 표현을 외부 설명과 정렬하는 원칙적인 방법을 제공합니다.
상호 보완성: 본 연구는 분포적 근거 설정(에너지를 통해)과 궤적 검증이 서로 보완적임을 입증합니다. 하나는 샘플이 사전 확률에 따라 유효함을 보장하고, 다른 하나는 추론 서사가 실제 연산과 일치함을 보장합니다.

저자들은 한계점 또한 명시했습니다. 특히 보증(guarantees)은 선택된 특징 단위 공간과 검증자의 활성 단위 정의에 상대적이라는 점입니다. 만약 기초가 되는 특징 추출기가 잘못 지정된다면, 그 보증 역시 해당 오류를 상속받게 됩니다. 향-후 연구로는 이를 연속적으로 학습되는 태스크 특화 단위 및 자기회귀 생성 모델로 확장하는 것이 제안되었습니다.