💬 NLP

Does It Fail to See or Fail to Know? Attributing Errors in Vision-Language Models

본 논문은 시각적 토큰 표현으로부터의 생성 전 신호와 프롬프트 조건부 은닉 상태를 사용하여, 시각-언어 모델의 오류가 지각/인식 병목 현상에서 기인하는지 또는 지식 검색 실패에서 기인하는지를 예측하고 분리함으로써, 답변 생성 전 표적 개입을 가능하게 하는 통합 프레임워크를 제안한다.

원저자: Khang Nhat Hoang Vo, Artem Vazhentsev, Artem Shelmanov, Timothy Baldwin, Yova Kementchedjhieva

게시일 2026-07-13

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Khang Nhat Hoang Vo, Artem Vazhentsev, Artem Shelmanov, Timothy Baldwin, Yova Kementchedjhieva

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 사진을 보고 어떤 질문에도 답할 수 있는 아주 똑똑한 로봇 친구가 있다고 상상해 보세요. 당신이 유명한 영화배우의 선명한 사진을 보여주며 "이 사람이 누구야?"라고 물으면, 이 로봇은 보통 정확하게 맞힙니다. 하지만 "이 배우는 어디에서 태어났어?"라거나 "이 이상한 벌레의 자연 서식지는 어디야?"라고 물으면, 로봇은 가끔 비틀거립니다. 잘못된 국가를 추측하거나, 벌레가 숲에 사는데도 바다에 산다고 말하기도 하죠.

오랫동안 연구자들은 이러한 오답을 하나의 덩어리진 실패(messy blob of failure)로 취급해 왔습니다. 그들은 그저 "앗, 로봇이 틀렸네"라고 말하고 그냥 넘어갔습니다. 하지만 이 새로운 논문은 그것이 마치 자동차가 고장 났을 때 엔진 때문인지, 타이어 때문인지, 아니면 연료 때문인지 확인하지 않고 그냥 "고장 났다"라고만 말하는 것과 같다고 주장합니다. 저자들인 과학자 팀은 로봇이 문장을 완성하기도 전에 정확히 어디에서 발을 헛디디는지 알아내고 싶었습니다.

두 가지 큰 실수: "보이지 않는다" vs "모른다"

연구진은 오류를 네 가지 뚜렷한 바구니로 분류하기 위해 특별한 진단 트리를 구축했습니다. 이것은 마치 용의자가 입을 열기도 전에 사건을 해결하려는 탐정과 같습니다.

시각적 흐림 (The Visual Blur): 때때로 사진이 너무 흐리거나, 어둡거나, 손상되어 있습니다. 로봇은 말 그대로 세부 사항을 볼 수 없습니다.
낯선 이방인 (The Unknown Stranger): 사진은 선명하지만, 로봇은 사진 속 인물이나 동물을 본 적이 없습니다. 마치 로봇이 배우지 못한 문화권의 유명 인사를 보는 것과 같습니다.
잊혀진 사실 (The Forgotten Fact): 로봇은 인물을 완벽하게 인식합니다 (예: "저건 톰 크루즈야!"). 하지만 당신이 물은 특정 사실은 기억하지 못합니다 (예: "그의 출생 연도를 기억 못 하겠어").
누락된 도서관 (The Missing Library): 로봇은 그 사람이 누구인지는 알지만, 당신이 물은 사실이 로봇의 뇌 속에 아예 존재하지 않습니다.

논문은 이 모든 오류가 동일하다는 생각에 반박합니다. 그들은 이 모든 오류를 잡아내기 위해 단순히 하나의 일반적인 "불확실성 측정기(uncertainty meter)"를 사용할 수 없음을 명시적으로 보여줍니다. 일반적인 측정기는 로봇이 "확신이 없다"라고 알려줄 수는 있지만, 왜 그런지는 알려주지 못합니다.

"사전 생성(Pre-Generation)" 신호의 마법

여기 가장 멋진 부분이 있습니다. 저자들은 로봇이 답변을 타이핑하기 전에 어떤 종류의 실수가 올지 예측할 수 있다는 것을 발견했습니다. 로봇이 틀린 말을 할 때까지 기다릴 필요가 없었습니다. 사진을 보고 질문을 읽은 직후, 즉 단 한 단어를 생성하기 전의 로박의 내부 "생각"을 엿보기만 하면 되었습니다.

그들은 로봇의 사고 방식에서 매혹적인 분리를 발견했습니다:

시각 및 인식 오류의 경우: 로봇이 이미지를 보는 데 어려움을 겪거나 대상을 식별하는 데 문제가 있다면, 그 단서는 **시각적 토큰(visual tokens)**에 숨겨져 있습니다. 이것을 로봇의 "눈"이라고 상상해 보세요. 눈이 혼란스러우면, 신호는 시각적 뇌 부분에서 가장 강력하게 나타납니다. 논문은 시각적 증거 실패를 포착하는 데 있어 시각적 신호를 살펴보는 것이 매우 효과적이며, 정확도가 무려 97.0(100이 완벽인 척도)에 달한다는 것을 보여줍니다.
사실적 오류의 경우: 로봇이 대상을 성공적으로 식별하고 나면, 사실적 실수에 대한 단서는 뇌의 다른 부분, 즉 **프롬프트 조건부 은닉 상태(prompt-conditioned hidden states)**로 이동합니다. 이것을 질문과 엔티티(대상)의 이름을 함께 담고 있는 로봇의 "기억 센터"라고 생각하세요. 만약 로봇이 그 벌레는 알지만 서식지는 모른다면, 오류 신호는 여기에 존재합니다. 논문은 프롬프트의 마지막 8개 토큰(로봇의 내부 사고 과정 중 특정 부분)을 살펴보는 것이 이 오류를 잡아내는 가장 좋은 방법이었으며, 다른 방법들을 능가했다는 것을 발견했습니다.

논문은 답변이 생성될 때까지 기다리는 것이 큰 도움이 되지 않는다는 점을 명시적으로 배제합니다. 그들은 로봇이 말을 마친 후의 텍스트를 조사하는 방법들을 테스트했는데, 그 방법들은 로봇이 말을 하기 전의 내부 신호를 확인하는 것보다 일반적으로 더 약했습니다.

"수리 실험 (The 'Fix-It' Experiment)"

이 아이디어가 작동함을 증명하기 위해, 팀은 "수리점"을 설정했습니다. 그들은 사전 생성 신호를 사용하여 문제를 진단한 다음, 로봇을 올바른 정비소로 보냈습니다:

만약 신호가 **"시각적 증거 실패(Visual Evidence Failure)"**라고 나타나면, 그들은 이미지를 더 선명하게 만드는 도구를 사용하여 이미지를 "수리"한 뒤 로봇에게 다시 시도하도록 했습니다.
만약 신호가 **"알 수 없는 엔티티(Unknown Entity)"**라고 나타나면, 그들은 로봇에게 그 인물이나 동물에 대한 힌트를 주었습니다.
만약 신호가 **"누락된 사실(Missing Fact)"**이라고 나타나면, 그들은 로봇에게 해당 엔티티에 대한 빠른 정보 시트를 제공했습니다.
만약 신호가 **"회상할 수 없는 사실(Unrecallable Fact)"**이라고 나타나면, 그들은 엔티티의 이름을 매우 명확하게 만들어 질문을 다시 작성하여 로봇이 기억을 인출하는 것을 도왔습니다.

결과는 인상적이었습니다. iNaturalist 데이터셋(식물과 동물에 관한 질문)에 대해, 로봇은 처음에 **4.8%**에서 12.1% 사이의 매우 낮은 정확도로 시작했습니다. 이 표적화된 수리 과정을 거친 후, 정확도는 **39.6%**에서 **46.6%**로 급증했습니다. 이는 엄청난 향상이며, 로봇이 왜 실패하는지 아는 것이 단순히 운이 좋기를 바라는 것보다 훨씬 더 잘 고칠 수 있게 해준다는 것을 시사합니다.

이것이 의미하는 것 (그리고 의미하지 않는 것)

이 논문은 이러한 시각-언어 모델(Vision-Language Models)이 실패하는 방식이 구조적이고 예측 가능하다는 점을 시사합니다. 그것은 무작위적인 혼돈이 아니라, 눈, 인식, 또는 기억 중 하나에서의 구체적인 붕괴입니다.

하지만 저자들은 이것이 완벽하게 해결된 문제라고 주장하지 않도록 주의를 기울였습니다. 그들은 자신들의 "수리" 실험이 강력한 도구 관리자인 GPT-5를 사용하여 수행된 일종의 개념 증명(proof-of-concept)임을 언급했습니다. 그들은 이것이 추가적인 비용과 잠재적인 도구 오류를 초래한다는 점을 인정하며, 실제 시스템에서는 동일한 작업을 수행하기 위해 더 저렴하고 전문화된 도구가 필요할 것이라고 말했습니다. 또한, 그들의 "실패" 레이블은 특정 테스트를 통해 설계된 것이지, 모든 가능한 오류에 대한 완벽한 인간의 이해를 반영하는 것은 아닙니다.

그러나 핵심 메시지는 명확하고 흥미롭습니다. 우리는 로봇이 틀린 답을 내놓을 때까지 기다릴 필요가 없습니다. 로봇이 말을 하기 전 내부 신호를 들음으로써, 우리는 로봇이 흐릿한 사진을 보느라 눈을 찌푸리고 있는지, 낯선 이를 멍하니 바라보고 있는지, 아니면 단순히 기억이 안 나서 머리를 긁적이고 있는지를 알 수 있습니다. 그리고 원인을 알게 되면, 우리는 그것을 올바른 수리점으로 보내 정답을 맞히게 할 수 있습니다.

기술 요약: 보지 못하는 것인가, 알지 못하는 것인가? 시각-언어 모델의 오류 귀속(Attribution)

문제 정의

시각-언어 모델(Vision-Language Models, VLMs)은 고품질 이미지에 기반한 질문에는 높은 숙련도를 보이지만, 즉각적인 시각적 인지를 넘어선 지식을 요구하는 질의에는 빈번히 어려움을 겪는다. 이러한 지식 집약적 시각 질의응답(VQA) 시나리오에서 발생하는 단일한 오답은 서로 다른 실패 모드에서 기인할 수 있다: 저하된 시각적 증거, 인식되지 않은 개체, 누락된 파라미터적 사실, 또는 개체 인식은 성공했으나 사실 인출에 실패한 경우 등이다.

기존 연구들은 이러한 오류를 단일한 실패로 취급하거나, 개별적인 실패 모드(예: 이미지 저하 또는 문화적 편향)를 독립적으로 조사해 왔다. 결과적으로, 기존의 불확실성 정량화 방법들은 구체적인 원인을 진단하지 못한 채 단순히 "실패 가능성 높음"이라는 이진 신호만을 제공한다. 이러한 세밀함의 부족은 이미지를 수리해야 하는지, 아니면 외부 사실 검색이 필요한 질의인지 구분하는 것과 같은 표적화된 개입을 방해한다.

방법론

귀속 분류 체계 (Attribution Taxonomy)

저자들은 VQA 오류를 네 가지 상호 배타적인 불확als성 구성 요소로 분해하는 통합 프레임워크를 제안하며, 이는 하나의 귀속 트리(attribution tree)를 형성한다:

시각적 증거 실패 ( $Z_d$ ): 이미지가 너무 저하되어(예: 노이즈, 블러) 인식을 지원할 수 없는 상태.
알 수 없는 개체 ( $Z_u$ ): 개체가 시각적으로는 인식 가능하지만, 모델에게 알려져 있지 않은 경우(분포 외 데이터 또는 저표집 데이터).
알 수 없는 사실 ( $Z_f$ ): 개체는 인식되었으나, 필요한 사실이 모델의 파라미터 지식에 누락된 경우.
인출 불가능한 사실 ( $Z_r$ ): 개체가 인식되었고 사실이 존재한다고 가정되지만, 모델이 이를 올바르게 인출하거나 사용하지 못한 경우.

데이터 큐레이션 및 레이블링

이러한 특정 실패 모드를 위한 프로브(probe)를 훈련하기 위해, 저자들은 PopVQA(유명인, 랜드마크, 로고, 회화)와 iNaturalist(식물 및 동물 종)로부터 데이터셋을 구축했다. 또한 확장 가능한 모델별 레이블링 절차를 적용했다:

알 수 없는 개체 vs. 저하된 개체: 모델이 시각적 저하(가우시안 블러, 노이즈, JPEG 압축을 통해 유도됨) 때문에 인식하지 못하는 것인지, 아니면 단순히 알지 못하는 것인지를 구분하기 위해 방해 프롬프트(distractor prompts)를 포함한 "언어화된 인식 프로브(verbalized recognition probe)"를 사용했다.
사실 접근성: "알 수 없는 사실"과 "인출 불가능한 사실"을 구분하기 위해 2-홉(two-hop) 테스트를 채택했다. 만약 모델이 원래의 이미지 기반 질문에는 실패했지만, 엔티티 이름이 프롬프트에 명시적으로 제공되었을 때 성공한다면, 그 실패는 인출 불가능한 사실(교차 모달 접근 실패)로 귀속된다. 만약 두 경우 모두 실패한다면, 해당 사실은 알 수 없는 것으로 간주된다.

생성 전 특징 추출 (Pre-Generation Feature Extraction)

핵심 조사는 디코딩 전의 내부 모델 상태가 이러한 실패 원인을 예측할 수 있는지에 초점을 맞춘다. 저자들은 이미지-질문 프롬프트가 처리된 후 답변 생성이 시작되기 전의 특징들을 추출했다:

VIS: 최종 이미지 토큰의 은닉 상태(시각적 프м프트 특징).
EOP: 최종 프롬프트 토큰의 은격 상태.
LAST8: 최종 8개 프롬프트 토큰의 결합된 은닉 상태.
ATTN: 최종 8개 토큰으로부터의 룩백 윈도우(lookback window)에 대한 평탄화된 어텐션 가중치.
ATTN+LAST8: 위의 특징들을 조합한 것.

이러한 특징들은 귀속 트리의 특정 실패 분기를 예측하도록 훈련된 경량 프로브(선형 헤드 또는 작은 트랜스포머)에 입력되었다.

주요 기여

귀속 트리 분류 체계: 본 논문은 지식 집약적 VQA의 실패를 시각적 증거, 개체 인식, 사실 인출, 지식 가용성으로 구조화하여 분해함으로써, 단순한 이진 오류 탐지를 넘어선 체계를 도입했다.
확장 가능한 레이블링 절차: 값비싼 인간 주석에 의존하는 대신, 제어된 프로브(방해 요소, 엔티티 명시적 재작성, 합성 이미지 저하)를 사용하여 VQA 예시에 특정 실패 모드를 할당하는 방법을 제시했다.
생성 전 실패 예측: VLM의 내부 표현이 답변을 생성하기 전 실패 원인을 예측할 수 있음을 입증했다. 결정적으로, 본 논문은 서로 다른 신호가 서로 다른 실패 유형에 최적화되어 있음을 확인했다:
- **시각적 토큰 특징(VIS)**은 인식 및 시각적 증거 실패를 예측하는 데 가장 강력한 예측 변수이다.
- **프롬프트 조건부 은닉 상태(LAST8)**는 개체가 인식된 후의 사실적 실패(알 수 없는 사실 vs. 인출 불가능한 사실)를 예측하는 데 더 우수하다.

실험 결과

연구는 네 가지 VLM 제품군(Gemma-3, Llama-3.2, Qwen2.5-VL, Qwen3-VL)을 PopVQA 및 iNaturalist에서 평가했다.

실패 분포: "알 수 없는 사실"이 지배적인 실패 모드(36~64%)였으며, 그 뒤를 "알 수 없는 개체"와 "인출 불가능한 사실"이 이었다. 이는 개체 인식이 성공한 후에도 많은 오류가 발생함을 확인시켜 준다.
특징 성능:
- 시각적 증거 및 개체 인식의 경우, VIS 특징이 가장 높은 PR-AUC(예: 시각적 증거의 경우 97.0)를 달 기록하며 프롬프트 기반 특징을 크게 앞질렀다.
- 답변 성공 및 사실 접근의 경우, LAST8 특징(특히 트랜스포머 헤드 사용 시)이 VIS 및 EOP보다 우수한 성능을 보였으며, 각각 평균 62.7 및 53.5의 PR-AUC에 도달했다.
- 트리 vs. 플랫 분류: 트리 구조 방식(각 이진 결정을 위한 특화된 프로브 사용)이 직접적인 5-레이블 분류기(49.2 vs. 41.2 macro PR-AUC)보다 일관되게 우수한 성능을 보였다. 이는 이미지 측면과 사실 측면의 결정을 분리하는 것이 필요함을 시사한다.
교차 데이터셋 일반화: PopVQA에서 훈련된 프로브는 시각 및 인식 작업에 대해서는 iNaturalist로 잘 전이되었으나(높은 PR-AUC), 사실적 작업에 대해서는 낮은 성능을 보였다. 이는 사실적 신호가 더 도메인 특화적임을 나타낸다.
프로브 유도 완화(Mitigation): 귀속 트리를 사용하여 예시를 표적화된 개입(이미지 수리, 개체 식별, 질문 재작성 또는 외부 사실 제공)으로 라우팅했을 때 최종 답변 정확도가 30.8~39.3 퍼센트 포인트 향상되었다. 특히 "알 수 없는 사실"이 이러한 이득의 가장 큰 기여자였으며, 이는 누락된 지식을 조기에 식별하는 것의 유용성을 입증한다.

의의 및 주장

본 논문은 지식 집약적 VQA에서의 VLM 실패가 무작위가 아니라 구조적이라고 주장한다. 내부 모델 상태를 분석함으로써, 답변을 생성하기 전에 모델이 왜 불확실한지를 진단할 수 있다.

저자들은 이러한 진단 능력이 효율적이고 표적화된 개입을 가능하게 한다고 단언한다. 단순히 "중단하거나 답하거나" 하는 이진 결정 대신, 시스템은 불확실한 사례를 특정 복구 메커니즘으로 보낼 수 있다:

신호가 시각적 저하를 나타내면, 이미지를 수리할 수 있다.
신호가 알 수 없는 개체를 나타내면, 시스템은 개체 인식 지원을 구할 수 있다.
신호가 누락된 지식을 나타내면, 시스템은 외부 검색을 트리거할 수 있다.

이 연구는 지식 집약적 VQA의 "2-홉" 성격(시각적 인식 후 사실 인출)이 모델의 내부 표현에 반영되어 있으며, 시각적 토큰은 첫 번째 홉을, 프롬프트 조건부 은격 상태는 두 번째 홉을 인코딩한다는 점을 시사한다. 이러한 발견은 자신의 한계를 식별하고 해결할 수 있는 더 강력하고 자가 교정 가능한 멀티모달 시스템 개발을 뒷받침한다.