Same Attention, Different Truths: Put Logit-Lens over Visual Attention to Detect and Mitigate LVLM Object Hallucination

당신이 수백만 장의 사진을 보고 수십억 권의 책을 읽은 아주 똑똑한 로봇 친구와 대화하고 있다고 상상해 보세요. 당신이 햇살 가득한 공원 사진을 보여주자, 로봇은 그 장면을 묘사하기 시작합니다. 하지만 가끔 이 로봇은 지나치게 창의적이 되기도 합니다. 사진에는 완전히 비어 있는 공간인데도, 나무 위로 "거대한 빨간 풍선"이 떠 있다고 자신 있게 말할 수도 있죠. 이것을 "환각(hallucination)"이라고 부르며, 이러한 AI 시스템을 만드는 과학자들에게는 큰 골칫거리입니다. 만약 로봇이 보이지 않는 것을 보고 있다고 믿는다면, 우리는 중요한 업무를 위해 로봇을 신뢰할 수 없게 됩니다.

오랫동안 연구자들은 이 문제가 로봇이 사진을 충분히 "보고 있지" 않기 때문에 발생한다고 생각했습니다. AI가 딴생각을 하느라 시선이 방황하고 있다고 믿었기에, AI가 이미지에 더 집중하도록 강제하려고 노력했습니다. 하지만 만약 로봇이 실제로 보고 있다면 어떨까요? 만약 로봇이 가짜 풍선이 있어야 할 바로 그 지점을 뚫어지게 쳐다보고 있지만, 단지 그것을 잘못 해석하고 있는 것이라면 어떨까요? "Same Attention, Different Truths(같은 주의력, 다른 진실)"라는 제목의 이 논문은 바로 이 미스터리를 파고듭니다. 이 논문은 AI가 말하는 동안 그 마음속을 들여다보기 위해 "Logit Lens(로짓 렌즈)"라는 영리한 기술(AI의 뇌를 찍는 X-ray라고 생각하세요)을 사용합니다. 목표는 로봇이 왜 보이는 것에 대해 거짓말을 하는지 알아내어, 처음부터 다시 학습시키지 않고도 로봇이 진실을 말하도록 가르치는 것입니다.

미스터리: 열심히 보고 있지만, 틀리고 있다

저자들은 먼저 대중적인 아이디어를 테스트했습니다. 즉, AI의 환각은 모델이 이미지에 충분한 주의를 기울이지 못하기 때문에 발생한다는 생각입니다. 그들은 AI가 사진을 묘사하는 과정을 지켜보며, AI의 "시선(주의력)"이 정확히 어디에 머무는지 추적했습니다. 그 결과 놀라운 사실을 발견했습니다. AI는 실제 물체(예: 의자)에 주는 주의력만큼이나 가짜 물체(예: 존재하지 않는 그릇)에 주는 주의력도 똑같이 높았습니다.

이것은 마치 빈 벽을 강렬하게 응시하며 그곳에 비밀 메시지가 숨겨져 있다고 확신하는 탐정과 같습니다. 탐정은 벽을 무시하고 있는 것이 아닙니다. 그들은 벽을 똑바로 보고 있습니다! 문제는 얼마나 "많이" 보느냐가 아니라, 무엇을 "보고 있다고 생각하느냐"입니다. 논문은 이를 "Same Attention, Different Truths"라고 부릅니다. AI는 에너지를 집중하고 있지만, 자신이 보는 것과 말하는 것 사이의 연결 고리가 끊어진 상태입니다.

X-레이: AI의 마음 읽기

무슨 일이 일어나고 있는지 이해하기 위해, 연구자들은 Logit Lens라는 도구를 사용했습니다. AI의 뇌를 여러 층으로 된 케이크라고 상상해 보세요. AI가 이미지를 처리함에 따라 정보는 이 층들을 통과해 이동합니다. Logit Lens를 사용하면 연구자들은 서로 다른 층에서 이 케이크의 "속재료"를 엿볼 수 있으며, "만약 우리가 여기서 AI를 멈춘다면, 어떤 단어를 말할 것인가?"라고 물을 수 있습니다.

이를 통해 그들은 명확한 차이를 발견했습니다:

• 실제 물체: AI가 실제 의자를 보고 있을 때, 뇌의 "속재료"는 이미지를 "의자"로 올바르게 해독했습니다. 시각적 증거가 단어와 일치했습니다.
• 가짜 물체: AI가 흐릿한 바닥 부분을 보고 있다가 그것을 "그릇"이라고 부리기로 결정했을 때, Logit Lens는 AI의 뇌가 실제로 그릇을 "보지 못했다"는 것을 보여주었습니다. 시각적 증거는 엉망이고 불확실했지만, AI는 그럼에도 불구하고 "그릇"이라고 말하겠다고 고집했습니다.

두 종류의 거짓말쟁이

논문은 AI가 두 가지 매우 다른 이유로 거짓말을 한다는 것을 발견했습니다. 마치 시험을 치르는 두 종류의 서로 다른 학생들처럼 말이죠.

1. "흐릿한 시야" 거짓말쟁이 (시각적 불확정성)
때때로 이미지는 그저 혼란스럽습니다. 예를 들어, 어떤 형태가 그릇처럼 약간 보일 수도 있는 어둡고 흐릿한 형체가 있을 수 있습니다. AI는 이 흐릿한 지점을 뚫어지게 쳐다보다가 혼란에 빠져, "이건 분명 그릇일 거야!"라고 추측합니다.

• 해결책: 연구자들은 단순히 그 흐릿하고 혼란스러운 부분을 가려버리면(masking) AI가 거짓말을 멈춘다는 것을 발견했습니다. AI는 "아, 저기엔 아무것도 안 보이니, 추측하지 말아야지"라고 깨닫게 됩니다. 이것을 **고주의 영역 마스킹(High-Attention Regions Masking, HARM)**이라고 합니다. 이는 마치 탐정에게 "저 흐릿한 벽을 보지 말고, 대신 맑은 창문을 보세요"라고 말하는 것과 같습니다.

2. "공상하는" 거짓말쟁이 (맥락적 사전 지식)
또 다른 경우에는 이미지가 명확하지만, AI가 자신이 무엇을 '볼 것'이라고 기대하는 것에 너무 큰 영향을 받습니다. AI가 주방을 설명하고 있다고 상상해 보세요. 사진에 전자레인지가 없더라도, AI는 "전자레인지가 있다"라고 말할 수 있습니다. 왜냐하면 학습 과정에서 주방에는 보통 전자레인지가 있다는 것을 배웠기 때문입니다. AI는 전자레인지라는 개념에 너무 익ert되어 있어서 그것을 환각해 냅니다.

• 반전: 만약 AI가 보고 있는 부분의 이미지를 가려버린다면, 거짓말을 멈출까요? 그렇지 않습니다! AI는 시선을 다른 곳으로 옮긴 뒤에도 계속해서 "전자레인지"라고 말할 것입니다. AI는 하나의 대본을 따르고 있는 것입니다: "나는 무언가를 보기 전에는 반드시 무언가를 말해야 해."
• 해결책: 이 유형을 위해 연구자들은 **시각적 증거 강화 디코딩(Visual Evidence Enhanced Decoding, VEED)**이라는 방법을 사용했습니다. 그들은 AI가 이미 찾아낸 실제 시각적 증거에 더 집중하도록 강제하여, 그 환각(공상)을 억제했습니다. 이는 마치 탐정에게 "당신의 노트를 다시 확인하세요. 노트에는 전자레인지가 없다고 적혀 있으니, 추측을 멈추세요"라고 상기시키는 것과 같습니다.

해결책: 탐정의 도구 상자

이러한 발견을 바탕으로, 저자들은 간단한 "학습이 필요 없는(training-free)" 도구 상자를 만들었습니다. 이는 AI를 처음부터 다시 가르칠 필요 없이, AI가 최종 답변을 내놓기 전에 스마트한 점검 단계를 추가했다는 것을 의미합니다.

1. 점검: 문장을 생성하는 동안 시스템은 Logit Lens를 사용하여 다음과 같이 확인합니다: "사진이 실제로 이 단어를 뒷받침하는가?" 만약 답이 "아니오"라면, 그 단어를 환각으로 표시합니다.
2. 진단: 그런 다음 왜 AI가 거짓말을 했는지 파악합니다. 이미지가 흐릿해서인가요(유형 1), 아니면 AI가 공상을 해서인가요(유형 2)?
3. 치료:
   • 유형 1인 경우, 흐릿한 부분을 가리고 AI에게 다시 시도하라고 요청합니다.
   • 유형 2인 경우, 실제 시각적 증거의 신호를 높여서 공상을 몰아냅니다.

결과

연구팀은 이 방법을 여러 가지 다른 AI 모델에 테스트했으며, 매우 효과적이라는 것을 발견했습니다. 이 방법은 실제 물체를 언급하는 것을 잊게 만들지 않으면서도, AI가 만들어내는 가짜 물체의 수를 다른 어떤 방법보다 더 많이 줄였습니다.

요약하자면, 이 논문은 AI의 환각이 단순히 로봇이 충분히 보고 있지 않기 때문에 발생하는 것이 아님을 보여줍니다. 때로는 로봇이 문제를 정면으로 보고 있으면서도 흐릿한 단서를 잘못 해석하는 것이고, 또 다른 때는 이전에 들었던 이야기에 따라 너무 성급하게 결론을 내리는 것입니다. 이러한 두 가지 다른 "거짓말"을 이해함으로써, 연구자들은 이를 잡아내고 수정하는 방법을 찾아냈으며, 우리의 로봇 친구들을 조금 더 정직하고 훨씬 더 신뢰할 수 있게 만들었습니다.