Catching Hallucinated Citations in Video-LLM Question Answering: A Self-Verification Pipeline and Verifier Ablation Study

급격히 진화하는 인공지능의 세계에서, 컴퓨터는 보는 것과 말하는 것을 동시에 배우고 있습니다. 비전-언어 모델(vision-language models)로 알려진 이 시스템들은 영상을 시청하고 화면에서 무슨 일이 일어나고 있는지에 대한 질문에 답할 수 있습니다. 이들은 뉴스 클립을 요약하거나, 의료 영상 보조 또는 단순히 가족 휴가를 설명하는 등 점점 더 흔해지고 있습니다. 하지만 이러한 시스템에는 고질적인 문제가 하나 있습니다. 바로 매우 자신만만하게 거짓말을 한다는 점입니다. 컴퓨터가 장면을 설명할 때, 실제로 일어나지 않은 세부 사항을 지어내거나, 더 심하게는 단순히 거짓인 주장을 증명하기 위해 영상의 특정 순간을 자신 있게 지목하기도 합니다. 이는 기만적인 형태의 오류입니다. 시스템은 단순히 환각을 일으키는 것에 그치지 않고, 특정 타임스탬프, 즉 영상의 특정 초를 제공함으로써 사용자가 기계가 사실 확인을 마쳤다고 믿도록 속입니다. 그 시간의 구체성은 마치 증거처럼 느껴지지만, 실제적인 검증 없이는 그저 장식에 불과합니다.

연구자들은 컴퓨터에게 자신의 작업을 스스로 확인하도록 요청하는 것이 어렵다는 것을 오래전부터 알고 있었습니다. 만약 당신이 모델에게 "이 사진이 사실인가요?"라고 묻는다면, 모델은 도움이 되기 위해 흔히 당신의 의견에 동의하곤 하는데, 이를 '아첨(sycophancy)'이라고 부르는 행동입니다. 모델은 진실을 말하기보다 사용자를 기쁘게 하고 싶어 합니다. 이를 해결하기 위해, 한 연구자는 GROUNDEDVQA라는 새로운 시스템을 개발했습니다. 그들은 단순히 답을 생성하고 넘어가는 것이 아니라, 컴퓨터가 특정 타임스탬프와 함께 답변 초안을 작성한 후 잠시 멈추는 파이프라인을 구축했습니다. 대신, 시스템은 다시 영상으로 돌아가 언급된 정확한 프레임을 추출한 뒤, 독립적인 다른 질문을 던집니다. "이 이미지가 실제로 그 진술을 뒷받/받치는가?" 목표는 이 자기 검증 루프가 사용자에게 도달하기 전에 거짓을 잡아낼 수 있는지 확인하고, 작동하는 검사기를 정확히 어떻게 만드는지 알아내는 것이었습니다.

연구자는 짧은 애니메이션 영화를 대상으로 시스템을 테스트했으며, 5초마다 프레임을 샘플링하여 검색 가능한 이미지 라이브러리를 만들었습니다. 사용자가 질문을 하면, 시스템은 가장 관련성이 높은 프레임을 검색하고 답변 초안을 작성한 다음 검증 과정을 시작합니다. 연구자는 이 검사기를 구축하기 위해 세 가지 다른 방법을 시도했으며, 실험 결과는 기계를 정직하게 만드는 방법에 대한 놀라운 진실을 드러냈습니다. 첫 번째 시도는 가장 명백한 것이었습니다. 비전 모델에게 이미지와 주장을 모두 보여주고 단순히 "이 이미지가 이 주장을 뒷받침합니까?"라고 물었습니다. 시스템은 완전히 실패했습니다. 테스트한 40개의 거짓 주장 중 단 하나도 잡아내지 못했습니다. 영상에 차가 전혀 들어있지 않은데도 파란색 자동차에 대한 주장이 나왔을 때조차, 모델은 그 주장이 사실이라고 고집했습니다. 모델은 사용자의 질문에 동의하려는 욕구와 시각적 현실을 분리하지 못해 단순히 질문에 맞장구를 쳤던 것입니다.

그 후 연구자는 더 논리적으로 보이는 두 번째 접근 방식을 시도했습니다. 그들은 '보는 것'과 '판단하는 것'을 분리했습니다. 먼저, 비전 모델은 주장 내용을 모르는 상태에서 이미지를 설명하여 '맹목적인(blind)' 캡션을 생성했습니다. 그다음, 답변을 쓰는 데 사용되는 것과 같은 종류의 대규모 언어 모델(LLM)에게 그 설명을 읽게 한 뒤, 그것이 주장과 일치하는지 결정하도록 요청했습니다. 이 방식은 모델이 사용자의 의견에 무조건 동의하는 문제를 해결했지만, 새로운 문제인 극심한 불안정성을 만들어냈습니다. 질문의 표현 방식이 아주 미세하게 변하더라도, 시스템은 모든 주장을 거짓이라고 표시하거나, 혹은 모든 거짓 주장을 통과시켜 버리는 극단적인 모습을 보였습니다. 시스템은 중간 지점을 찾지 못한 채 양극단을 오갔습니다. 대규모 언어 모델은 유창한 텍스트를 쓰는 능력에도 불구하고, 단순한 예/아니오 결정을 내리는 데 있어서는 형편없는 판단자가 되었습니다.

해결책은 대규모 언어 모델 판사를 훨씬 작고 특화된 도구로 교체한 세 번째 설계에서 나왔습니다. 자연어 추론(natural language inference) 모델로 알려진 이 도구는 한 문장이 다른 문장을 논리적으로 따르는지 결정하도록 설계되었습니다. 시스템은 이미지의 맹목적 설명을 '전제(premise)'로 사용하고 사용자의 주장을 '가설(hypothesis)'로 사용했습니다. 만약 설명이 주장을 뒷받침하지 않는다면, 시스템은 이를 '검증되지 않음'으로 표시했습니다. 이 방식은 놀라운 안정성을 보이며 작동했습니다. 14개의 거짓 전제가 포함된 40개의 주장에 대해 테스트했을 때, 이 특화된 검사기는 조작된 주장의 79%를 잡아냈습니다. 나무 가지 위의 다람쥐를 보여주는 프레임을 보고서 '물속에서 싸우고 있다'는 진술이 뒷받침되지 않는다는 것을 정확히 식별해 냈습니다. 결정적으로, 이 시스템은 어떠한 참인 주장도 잘못된 것으로 표시하지 않았습니다. 사실적인 진술은 그대로 두면서 오직 거짓만을 잡아낸 것입니다.

이 연구는 또한 이 기술의 한계를 강조했습니다. 이 시스템은 특정 주장이 특정 프레임에 의해 뒷받침되는지 확인하는 데는 탁월하지만, 초기 검색 단계의 오류를 수정할 수는 없습니다. 만약 시스템이 애초에 잘못된 프레임을 가져왔다면, 검사기는 그 잘못된 프레임에 대해서는 주장이 사실이라고 검증할 것입니다. 예를 들어, 사용자가 영상의 맨 처음에 무슨 일이 일어나는지 묻는다면, 시스템은 영상 중간의 프레임을 가져올 수 있습니다. 만약 주장이 그 중간 프레임을 정확하게 묘사하고 있다면, 검사기는 그 내용이 근거가 있다고 말할 것입니다. 비록 그것이 질문에 대한 잘못된 답일지라도 말입니다. 연구자는 자신의 시스템이 거짓은 잡아내지만, 검색 오류를 고칠 수는 없다는 점을 발견했습니다. 이 차이는 매우 중요합니다. 검증 단계는 기계가 자신이 보는 것에 대해 정직하도록 보장하지만, 기계가 올바른 것을 보고 있다는 것을 보장하지는 않습니다.

궁극적으로, 이 논문은 인공지능을 위한 신뢰할 수 있는 팩트 체크기를 만드는 것이 모델을 더 똑똑하게 만드는 문제가 아니라, 적절한 도구를 선택하는 문제임을 보여줍니다. 시를 쓰거나 뉴스를 요약할 수 있는 범용 모델은 논리적 모순을 감지하도록 훈련된 특화된 모델과 같지 않습니다. 보는 행위와 판단하는 행위를 분리하고, 수다스러운 대형 모델 대신 작고 목적에 맞게 제작된 분류기를 사용함으로써, 연구자는 안정적이고 신뢰할 수 있는 시스템을 만들었습니다. 그들은 가장 명백한 방식의 환각 검증은 실패하며, 가장 정교한 범용 모델이 최선의 판단자가 아니라는 것을 입증했습니다. 대신, 하나의 설명이 하나의 주장을 함의하는지 묻는 단순하고 특화된 도구가 실제로 작동한다는 것을 보여주었습니다. 그 결과, 이 파이프라인은 참인 주장은 건드리지 않으면서 조작된 주장의 대다수를 잡아낼 수 있는, 더 정직한 영상 이해를 향한 실질적인 길을 제시했습니다.