🤖 AI

Contextualized Evaluation of Vision Language Models through Dynamic, Multi-turn Interactions

이 논문은 정적인 벤치마크와 실제 응용 사례 사이의 간극을 메우며, 기존의 평가 방식에 비해 멀티모달 거대 언어 모델(MLLM)에서 훨씬 더 많고 점진적으로 현실적인 시각적 환각을 드러내는 동적 다회차 상호작용 프레임워크인 CEDI를 소개한다.

원저자: Yijiang Li, Huiqi Zou, Bingyang Wang, Ziang Xiao

게시일 2026-07-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yijiang Li, Huiqi Zou, Bingyang Wang, Ziang Xiao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 세상을 보는 법을 가르치고 있다고 상상해 보세요. 오랫동안 과학자들은 로봇에게 사진 한 장을 보여주고 "무엇이 보이나요?"라고 묻는 방식으로 로봇을 테스트해 왔습니다. 이것은 마치 로봇이 사진에 대해 짧은 에세이를 써야 하는 쪽지 시험과 같습니다. 로봇이 주요 요소들을 제대로 맞히면 A 학점을 받습니다. 하지만 현실 세계에서 우리는 사진을 뚫어지게 쳐다보며 에세이를 쓰지는 않습니다. 우리는 기기와 대화를 나눕니다. "저게 강아지인가요?"라고 물었다가, 그다음에는 "목줄 색깔이 무엇인가요?"라고 묻고, 다시 "잠깐, 저게 강아지인가요, 아니면 여우인가요?"라고 묻기도 합니다. 우리는 대화를 하고, 생각을 바꾸기도 하며, 혼란에 빠지기도 합니다. 문제는 기존의 "쪽지 시험" 방식이 로봇이 실제로 우리와 채팅할 때 저지르는 실수를 잡아내지 못한다는 점입니다. 로봇은 시험은 통과할지 몰라도 대화에서는 실패할 수 있으며, 대화를 이어가기 위해 존재하지 않는 사실을 지어내기도 합니다. 이는 매우 중요한 문제입니다. 만약 로봇이 자동차를 운전하거나 의사를 돕고 있다면, 사실을 지어내는 것은 위험할 수 있기 때문입니다. 우리는 로봇을 실제로 사용하는 방식인, 무질서하고 주고받는 대화 속에서 테스트할 방법이 필요합니다.

이 논문은 CEDI라고 불리는 이 "시각 언어 모델(Vision Language Models, VLMs)"을 테스트하는 새로운 방법을 소개합니다. CEDI를 테스트가 아니라 세 사람이 출연하는 연극이라고 생각해 보세요. 첫째, 로봇(테스트 대상인 모델)이 있습니다. 둘째, 탐정(자동화된 검사관)이 있습니다. 셋째, 판사(채점자)가 있습니다. 탐정은 단순히 로봇에게 사진 한 장을 보여주고 떠나지 않습니다. 대신, 탐정은 사진의 비밀 지도(이를 "장면 그래프(Scene Graph)"라고 부릅니다)와 "주차 공간 찾기"와 같은 구체적인 목표를 부여받습니다. 그런 다음 탐정은 로봇과 대화를 시작하며, 대화가 진행될수록 점점 더 까다롭고 구체적인 질문을 던집니다. 탐정은 "빨간색 자동차가 있나요?"라고 물을 수 있고, 만약 로봇이 그렇다고 답하면, "그 모델명이 무엇인가요?"라고 후속 질문을 하거나, 심지어 파란색 자동차가 없는데도 "왜 파란색 자동차가 저기에 주차되어 있나요?"라고 물으며 로봇을 속이려 할 수도 있습니다. 목표는 로봇이 대화를 계속 이어가기 위해 환각(hallucination, 사실을 지어내는 현상)을 일으키는지 확인하는 것입니다.

저자들은 이 "탐정" 방식이 기존의 "쪽지 시험" 스타일보다 거짓말을 잡아내는 데 훨씬 더 뛰어나다는 것을 발견했습니다. 여러 종류의 로봇에 CEDI를 적용했을 때, 저자들은 로봇들이 기존 테스트에서 보여준 것보다 현저히 더 많은 가짜 세부 사항을 지어낸다는 것을 발견했습니다. 예를 들어, 한 데이터셋에서 이 새로운 방식은 로봇의 "환각 발생률"이 기존 방식에 비해 5에서 23 퍼센트 포인트까지 급증했다는 것을 찾아냈습니다. 또한 로봇은 대화가 길어질수록 거짓말을 할 가능성이 훨씬 높았습니다. 대화가 진행됨에 따라 로봇은 자신의 이전 답변에 혼란을 느끼고, 마치 메시지가 점점 더 잘못 전달되는 '전화기 게임(telephone game)'처럼 자신의 실수를 스스로 강화하기 시작하는 것으로 보입니다.

또한 논문은 로봇들이 "모른다"라고 말하는 데 매우 서투르다는 것을 보여주었습니다. 탐정이 "저 남자가 무엇을 들고 있나요?"와 같이 사진에 없는 남자를 전제로 한 질문을 던졌을 때, 로봇들은 대답을 하려고 시도하며 남자와 모자를 지어냈습니다. 로봇들은 잘못된 전제를 거부해야 할 때 가장 큰 어려움을 겪었습니다. 이 시스템의 새로운 "판사"는 특수한 그래프 매칭 점수를 사용하여 이러한 거짓말을 이전 도구들보다 더 일관되게 잡아낼 수 있었으며, 인간 판사의 의견과도 기존 방식보다 더 잘 일치했습니다.

요약하자면, 이 논문은 로봇을 단일 질문으로 테스트하는 기존 방식이 그들이 가진 문제의 거대한 부분을 놓치고 있다고 제안합니다. 실제 삶을 모방한 역동적인 다회차 대화로 전환함으로써, 우리는 이 로봇들이 특히 대화를 이어가려고 노력하거나 잘못된 가정에 속았을 때 훨씬 더 많은 사실을 지어내는 경향이 있다는 것을 알 수 있습니다. 저자들은 로봇이 고장 났다고 말하는 것이 아니라, 로버를 침묵 속에서 시험을 치르는 학생처럼 테스트하는 것을 멈추고, 실제 문제가 숨어 있는 대화의 형태로 테스트해야 한다고 말하고 있습니다.

기술 요약: CEDI – 동적, 다회차 상호작용을 통한 MLLM의 맥락화된 평가

문제 정의

멀티모달 거대 언어 모델(MLLM)이 정적 벤치마크에서 상당한 발전을 이루었음에도 불구하고, 실제 응용 분야에서의 효과성은 여전히 불확실하다. 핵심 문제는 현재의 평가 패러다임과 실제 사용 방식 사이의 근본적인 불일치에 있다. 기존 벤치마크는 대개 정적이고 단발성(single-turn)이며 통제된 환경에서 수행되는 반면, 실제 세계의 MLLM 상호작용은 본질적으로 동적이고, 다회차(multi-turn)이며, 맥락화되어 있다. 이러한 격차는 복잡하고 상호작적인 대화 중에 발생하는 실패 모드, 특히 시각적 환각(이미지 내용에 충실하지 않은 출력을 생성하는 현상)을 탐지하는 것을 방해한다. 또한, 현재의 평가 방법은 긴 문맥 속에서 오류가 축적되는 현상이나 거짓 전제를 거부하지 못하는 모델의 능력을 포착하는 데 실패하는 경우가 많다.

방법론: CEDI 프레임워크

저자들은 CEDI(Contextualized Evaluations of MLLMs through Dynamic, multi-round Interactions)를 제안하며, 이는 평가를 다음과 같은 3자 상호작용으로 재구성한다:

피평가자(The Evaluatee): 테스트 대상인 MLLM.
시험관(The Examiner): 반구조화된 다회차 인터뷰를 진행하는 자동화된 에이전트.
채점자(The Grader): 대화의 충실도(faithfulness)와 커버리지(coverage)를 점수화하는 자동화된 에이전트.

1. 동적 및 맥락화된 시험관

인간의 평가 인터뷰에서 영감을 얻은 시험관은 모델의 응답에 따라 질문 전략을 조정한다.

장면 그래프(Scene Graph) 표현: 질문이 언어적 사전 지식(language priors)이 아닌 시각적 증거에 기반하도록 보장하기 위해, 시험관은 객체, 관계, 속성을 나타내는 장면 그래프( $G = (V, E, A)$ )를 활용한다.
문맥 모델링: 시험관은 특정 목표(예: "나는 시각 장애가 있으며 화장실을 찾아야 한다")를 가진 1인칭 사용자 시나리오를 시뮬레이션한다. 전체 장면 그래프에서 관련 하위 그래프( $G_s$ )를 선택하여 대화를 주도한다.
순회 전략: 인터뷰는 $G_s$ $G_{s}$ 에 대한 순회(traversal)로 모델링된다. 각 턴마다 시험관은 타겟 노드를 선택하고 다음 네 가지 질문 유형 중 하나를 생성한다:
- 일반(Regular): 관찰 가능한 요소들에 대한 근거 있는 질의.
- 후속(Follow-up): 일관성을 테스트하기 위해 이전 대화에 조건화된 질문.
- 적대적(Adversarial): 통계적 공생 관계(statistical co-occurrence)에 대한 의존도를 테스트하기 위해, 그럴듯하지만 존재하지 않는 객체/관계에 대한 질문.
- 답변 불가능(Unanswerable): 모델의 거짓 전제 거부 능력을 테스트하기 위해, 조작된 전제(가공의 객체/관계)에 기반한 질문.
문맥 스케일링(Context Scaling): 광범위한 시각적 커버리지를 확보하기 위해, 시험관은 이미지당 여러 개의 구별된 문맥을 생성하여 단일한 포괄적 캡션 없이도 질의된 하위 그래프의 합집합을 확장한다.

2. 장면 그래프 기반 채점자

채점자는 단일 턴의 응답이 아닌 누적된 대화 기록(transcript)을 평가한다.

파싱(Parsing): LLM이 대화 기록을 예측된 장면 그래프( $\hat{G}$ )로 파싱하며, 이때 물리적 엔티티만을 필터링한다.
지표: 채점자는 $\hat{G}$ $\hat{G}$ 를 실제 장면 그래프( $G^*$ $G^{*}$ )와 비교하여 다음을 측정한다:
- 그래프 편집 거리(Graph Edit Distance, GED): $\hat{G}$ 를 $G^*$ 로 변환하는 데 필요한 편집 작업(삽입, 삭제, 교체)의 비용을 측정한다. 삽입은 환각을, 삭제는 누락된 콘텐츠를 벌칙으로 부여한다.
- $\Delta$ Con: 노드 친화도 행렬(node-affinity matrices)을 통해 구조적 유사성을 측정한다.
- 분해(Decomposition): 저자들은 정밀도(precision)와 재현율(recall)을 분리하기 위해 $GED_{hal}$ (환각 콘텐츠 격리)과 $GED_{cov}$ (누락된 콘텐츠 격리)를 정의한다.

주요 기여

프레임워크 제안: 장면 그래프에 의해 유도되는 동적 3자 상호작용으로 MLLM 평가를 전환하는 CEDI를 도입하였다.
질문 전략: 특정 환각 행동을 유도하기 위해 설계된 네 가지 유형의 질문(적대적 및 답변 불가능 질문 포함)을 갖춘 반구조화된 인터뷰 프로토콜을 개발하였다.
평가 지표: 장면 그래프 기반의 채점자를 통해 대화 수준에서 환각 심각도와 시각적 커버리지를 모두 정량화하며, 이는 CHAIR나 MMHal과 같은 기존 지표보다 인간의 주석과 더 높은 일치도를 보인다.
실증적 검증: 다양한 모델(오픈 소스 및 독점 모델), 데이터셋(VG, COCO, ADE20K) 및 도메인에 걸친 포괄적인 평가를 수행하였다.

결과

환각 유도 증가: CEDI는 캡션 기반 또는 이진 질문(예: POPE) 및 프롬프트 전용 베이스라인보다 훨씬 더 많은 환각을 일관되게 드러낸다. Synthetic Visual Genome (SVG) 데이터셋에서 CEDI는 캡션 베이스라인 대비 커버리지를 3~~19 퍼센트 포인트, 턴당 환각률(VALOR)을 5~~23 퍼센트 포인트 증가시켰다.
인간과의 일치도: $GED_{hal}$ 지표는 모든 모델에 대해 인간이 주석을 단 환각 횟수와 일관된 피어슨 상관계수( $\rho = 0.22–0.33$ )를 보이며, 변동이 심하거나 특정 모델에서 음의 상관관계를 보이는 CHAIR 및 MMHal보다 우수한 성능을 보였다.
문맥 및 이력 효과:
- 문맥 스케일링: 이미지당 문맥 수를 늘릴수록 환각 탐지와 커버리지가 단조 증가한다.
- 대화 이력: 모델은 자신의 대화 이력을 볼 수 있을 때 환각을 더 자주 일으키며, 종종 초기의 근거 없는 주장을 강화하는 경향을 보인다.
- 질문 유형: 모델은 특히 전제 거부를 요구하는 "답변 불가능" 및 "적대적" 질문에 취약하다.
오류 패턴: 질적 분석 결과, 환각은 존재하지 않는 객체(62%)가 가장 많았으며, 잘못된 속성(20%)과 잘못된 관계(15%)가 그 뒤를 이었다.

의의 및 주장

본 논문은 CEDI가 MLLM의 **생태학적 타당성을 갖춘 평가(ecologically valid assessments)**를 향한 단계라고 주장한다. 목표 지향적인 다회차 상호작용을 시뮬레이션함으로써, CEDI는 정적 벤치마크가 놓치는 실패 모드, 즉 긴 문맥에서의 환각 축적 및 거짓 전제 거부 불능 등을 밝혀낸다. 저자들은 이 프레임워크가 모델의 실패를 진단하고 실제 배포를 위한 신뢰할 수 있는 VLM 개발을 가이드하는 데 더 충실한 기초를 제공한다고 주장한다. 현재의 구현은 시각적 환각에 집중하고 있으나, 저자들은 이 기본 형식이 더 넓은 과업과 응용 분야로 일반화될 수 있다고 보고 있다.