Look Clearly Before Answering: Mitigating Hallucinations in LVLMs via Saliency-Driven Perceptual Realignment

급변하는 인공지능의 세계에서, 동시에 보고 말할 수 있는 새로운 세대의 시스템이 등장했습니다. 이러한 거대 시각-언어 모델은 디지털 관찰자로서 역할을 하며, 사진을 보고 그 안에서 어떤 일이 일어나고 있는지 설명하거나 장면에 대한 질문에 답할 수 있습니다. 이들은 시각적 세계와 인간의 언어를 연결하는 법을 학습하여, 픽셀과 단어 사이의 가교를 만들어냈습니다. 그러나 이 시스템들은 유창하고 종종 타당해 보이는 문장을 생성하는 놀라운 능력에도 불구하고, 지속적이고 좌절스러운 결함에 시달리고 있습니다. 바로 자주 '거짓말'을 한다는 점입니다. 이미지는 파란색 연을 보여주고 있는데도 모델은 사람이 빨간 풍선을 들고 있다고 자신 있게 묘사하거나, 전혀 존재하지 않는 세부 사항을 지어내기도 합니다. 환각(hallucination)이라고 알려진 이러한 허위 정보 생성 경향은, 현재 실제로 보고 있는 것보다 이전에 읽었던 내용에 깊게 의존하는 데서 기인합니다. 시각적 증거가 불분명하거나 복잡할 때, 시스템은 종종 자신의 내부 언어 패턴 라이브러리에 기반해 추측하는 방식으로 기본 설정되어, 들리기는 그럴듯하지만 사실과는 다른 답변을 내놓습니다. 이러한 불확실성은 이 강력한 도구들이 정확성이 필수적인 실제 상황에서 신뢰받는 것을 방해합니다.

시디안 대학교(Xidian University)와 칭화 대학교(Tsinghua University)의 연구진은 이러한 시각적 혼란의 근본 원인을 규명하고, 모델이 답변하기 전에 "명확하게 보도록" 돕는 방법을 개발했습니다. 그들의 연구는 문제가 단순히 지식의 부족이 아니라, 모델이 생각하는 아주 짧은 순간 동안 무엇을 보고 기억하는지를 처리하는 방식의 실패라는 점을 밝혀냈습니다. 연구팀은 모델이 이미지를 분석할 때, 주의력이 종종 중요하지 않은 배경 세부 사항에 의해 하이재킹(탈취)되어 가장 중요한 부분들을 무시하게 된다는 것을 발견했습니다. 또한, 모델이 답변을 단어 하나하나 생성하기 시작하면서, 시각적 장면에 대한 기억이 퇴화하고 왜곡되며 질문과 연결되는 힘이 약해진다는 것도 발견했습니다. 이를 해결하기 위해 연구진은 '돌출도 기반 지각 재정렬(Saliency-Driven Perceptual Realignment)'이라는 훈련이 필요 없는 프레임워크를 도입했습니다. 이 접근 방식은 거대한 AI 모델을 처음부터 다시 훈련시킬 필요 없이, 모델의 사고 과정 중에 가이드 역할을 하여 모델의 초점과 기억을 부드럽게 교정함으로써 모델이 이미지의 시각적 현실에 기반하도록 보장합니다.

이 교정 과정의 첫 번째 단계는 모델이 이미지를 처음 바라보는 순간을 다룹니다. 연구진은 모델의 내부 주의 메커니즘이 흔히 '싱크 토큰(sink tokens)', 즉 우연히 너무 많은 관심을 끌게 된 의미 없는 배경 요소들에 갇히곤 한다는 것을 발견했습니다. 소음이 심한 방에서 대화를 들으려는 사람을 상상해 보십시오. 만약 그 사람의 주의력이 크고 무관한 소음에 빼앗긴다면, 중요한 단어들을 놓치게 될 것입니다. 마찬가지로, 모델은 이러한 배경의 방해 요소들이 사람의 얼굴이나 특정 물체와 같은 중요한 시각적 단서들을 압도하도록 내버려 두었습니다. 새로운 방법은 이러한 하이재킹이 발생할 때를 감지하고 모델의 주의력을 재분배하여, 소음으로부터 초점을 끌어내어 의미 있는 이미지의 부분들로 되돌립니다. 이렇게 함으로써, 모델은 이전에 무시했던 억제된 시각적 증거를 회복하여, 말을 시작하기도 전에 장면을 더 정확하게 볼 수 있게 됩니다.

모델이 명확한 시야를 확보하면, 두 번째 과제가 발생합니다. 모델은 답변을 작성하는 동안 참조하기 위해 이미지의 기억을 저장합니다. 그러나 연구진은 이 기억이 시간이 지남에 따라 왜곡된다는 것을 관찰했습니다. 모델은 이미지와 질문을 특정 순서로 처리하기 때문에, 시각적 세부 사항에 대한 기억이 질문에 대한 실제 중요도가 아닌 시퀀스상의 위치에 묶이게 됩니다. 이는 마치 모델이 어떤 특정 물체가 시퀀스 초기에 나타났다는 이유로 그것이 중요하다는 사실을 잊어버리고, 나중에 나타난 덜 중요한 세부 사항들이 기억 속에서 지나치게 두드러지게 되는 것과 같습니다. 이를 방지하기 위해, 새로운 프레임워크는 이 내부 기억을 재정렬합니다. 이 방식은 현재 질문과 실제로 관련이 있는 이미지의 부분이 어디인지 강조하는 신호를 주입하여, 모델의 기억이 전체 생성 과정 동안 무관한 세부 사항으로 흘러가지 않고 올바른 시각적 증거에 계속 집중할 수 있도록 보장합니다.

마지막으로, 명확한 시야와 좋은 기억을 갖추더라도 모델은 여전히 기존의 언어 습관에 의존하려는 유혹에 직면합니다. 때때로 모델은 그림을 바탕으로 답이 "예"라는 것을 알면서도, 내부의 언어 패턴이 학습 데이터에서 흔히 쓰이는 표현인 "아니요"를 강력하게 제안할 수 있습니다. 이를 방지하기 위해 연구진은 모델의 시각 기반 예측을 모델 자체의 언어 습관으로부터 구축된 참조값과 비교하는 최종 점검 단계를 추가했습니다. 만약 두 가지가 서로 다르다면, 시스템은 언어 기반의 추측을 능동적으로 억제하고 모델이 시각적 증거를 고수하도록 강제합니다. 이 대조적인 과정은 최종 답변이 모델이 기대하는 바가 아니라, 실제로 이미지 안에 있는 것에 의해 주도되도록 보장합니다.

이 세 단계 전략을 적용한 결과는 매우 유의미합니다. 다양한 종류의 거대 시각-언어 모델을 대상으로 테스트했을 때, 이 방법은 환각 현상을 일관되게 줄이고 답변의 정확도를 높였습니다. 모델이 사물을 얼마나 정확하게 식별하는지를 측정하는 특정 테스트에서, 이 새로운 접근 방식은 최대 거의 7포인트의 향상을 보여주었으며, 환각된 세부 사항의 빈도를 측정하는 테스트에서는 오류를 3분의 1 이상 줄였습니다. 결정적으로, 이 모든 성과는 값비싼 재학습이나 추가 데이터 없이, 단지 모델이 작업하는 동안 주의를 기울이고 정보를 기억하는 방식을 조정함으로써 달성되었습니다. 초기 시선부터 마지막 문장에 이르기까지 시각적 인지의 저하를 체계적으로 해결함으로써, 이 연구는 이러한 강력한 AI 시스템을 더욱 신뢰할 수 있게 만드는 견고한 방법을 제시하며, 이들이 보는 것에 대해 진실을 말할 수 있도록 보장합니다.