당신이 탐정이라고 상상해 보세요. 하지만 당신이 해결해야 할 사건 현장은 범죄 현장이 아니라, 인터넷에 게시된 사진 한 장과 문장 하나입니다. 때로는 문장이 거짓이고, 때로는 사진이 가짜이며, 때로는 두 요소가 전혀 맞지 않기도 합니다. 이것이 바로 "멀티모달 미스인포메이션(multimodal misinformation, 다중 양식 오정보)"의 세계이며, 과학자들이 컴퓨터에게 이러한 디지털 속임수를 포착하도록 가르치는 분야입니다. 그들이 사용하는 도구는 거대 멀티모달 모델(Large Multimodal Models, 줄여서 LVLM)입니다. 이 모델들을 아주 똑똑하고 박학다식한 탐정이라고 생각하면 됩니다. 사진을 볼 수 있고 글도 읽을 수 있죠. 하지만 여기 함정이 있습니다. 아무리 똑똑한 탐정이라도 제대로 된 작전 계획이 없다면 혼란에 빠질 수 있습니다. 재미있는 사진을 보고는 그 이야기가 사실이라고 가정하거나, 사소한 디테일에 정신이 팔려 커다란 거짓말을 놓칠 수도 있습니다. 연구자들이 던지는 핵심 질문은 이것입니다. "어떻게 하면 이 디지털 탐정들에게 새로운 기술을 배울 때마다 뇌 전체를 다시 훈련시키지 않고도, 더 일관성 있고 신뢰할 수 있는 능력을 가르칠 수 있을까?"

이 논문은 "검증 노트 학습(Verification-Notebook Learning, VNL)"이라는 영리한 새로운 전략을 소개합니다. 탐정의 뇌를 재배선하는 것(어렵고 비용이 많이 드는 일)이나, 단순히 과거의 사건 파일들을 훑어보게 하는 것(느리고 지저분한 일) 대신, 연구자들은 탐정에게 특별히 미리 작성된 '노트'를 쥐여줍니다. 탐정이 새로운 사건을 해결하기 전에, 그는 과거의 실수와 성공 사례를 공부하며 시간을 보냅니다. 그리고 "항상 사진 속의 물체가 실제로 존재하는지 확인하라"라거나 "텍스트가 약간 모호하다고 해서 바로 불일치라고 단정 짓지 마라"와 같은 일련의 황금 규칙들을 적어 내려갑니다. 이 노트는 압축적이고 읽기 쉬우며, 탐정이 업무를 수행하는 동안에는 변하지 않고 유지됩니다.

연구자들은 이 방식이 놀라울 정도로 잘 작동한다는 것을 발견했습니다. "노트 가이드"를 받은 탐정을 다른 방법들과 비교 테스트했을 때, 이 방식은 퍼즐을 더 정확하게 풀어냈습니다. 예를 들어, 네 가지 유형의 거짓말을 다루는 테스트에서 노트 방식은 73.2%의 점수를 기록하며, 그다음으로 높은 성적을 낸 방법을 상당한 차이로 앞질렀습니다. 논문은 이처럼 명확하게 적힌 규칙을 갖는 것이 컴퓨터가 "사진 속의 용(dragon)이 가짜라는 이유로 캡션과 불일치한다고 착각하는 것"과 같은 흔한 함정을 피하는 데 도움이 된다고 제안합니다. 핵심적인 발견은 컴퓨터의 내부 코드를 변경하여 더 똑똑하게 만들 필요 없이, 단지 어떻게 생각해야 하는지에 대한 더 나은 '사전 제작 가이드'를 제공하기만 하면 된다는 것입니다.

탐정의 딜레마

당신이 스마트폰을 스크롤하다가 턱시도를 입은 고양이 사진과 함께 "이 고양이는 뉴욕의 새로운 시장입니다"라는 캡션이 달린 게시물을 보았다고 상상해 보세요. 이것은 거짓일까요? 고양이는 실존하는 것이 아니고(사진일 뿐), 캡션은 사실이 아니며, 둘은 서로 맞지 않습니다. 하지만 만약 사진은 실제인데 캡션이 그저 농담이었다면 어떨까요? 혹은 사진은 실제인데 캡션이 고양이가 다른 도시 출신이라고 주장했다면 어떨까요?

이것이 온라인 미스인포메이션의 복잡한 현실입니다. 단순히 "가짜" 게시물을 찾아내는 것이 문제가 아닙니다. 거짓이 어디에 숨어 있는지 알아내는 것이 중요합니다. 텍스트가 거짓인가요? 이미지가 조작되었나요? 아니면 그저 서로 관련 없는 두 요소가 붙어 있는 것뿐인가요? 이것이 과학자들이 말하는 "소스 인식(source-aware)" 탐지입니다.

오랫동안 우리는 컴퓨터가 더 나은 추론을 하도록 가르침으로써 이를 해결하려 노력해 왔습니다. 우리는 "헤이, 텍스트를 먼저 보고, 그다음 사진을 본 다음, 둘을 비교해 봐"라고 말합니다. 심지어 컴퓨터가 답을 내기 위해 토론하는 에이전트 팀처럼 작동하는 복잡한 시스템도 구축했습니다. 하지만 문제가 있습니다. 컴퓨터는 새로운 게시물을 볼 때마다 규칙을 처음부터 다시 파악해야 합니다. 이는 마치 매 사건이 끝날 때마다 훈련 매뉴얼을 잊어버리는 탐정과 같습니다. 한 사건은 완벽하게 해결할지 몰라도, 다음 사건을 위해서는 교훈을 잊어버리는 것이죠.

노트 솔루션

이 논문의 저자인 준위안 탄(Junyuan Tan)은 다른 접근 방식을 시도하기로 했습니다. 컴퓨터에게 전통적인 방식의 "학습"(학생의 뇌를 재훈련하는 것처럼 내부 설정을 바꾸는 과정)을 시키는 대신, 컴퓨터에게 **검증 노트(Verification Notebook)**를 주었습니다.

이 노트를 숙련된 탐정이 들고 다니는 치트 시트나 현장 가이드라고 생각하세요. 이 노트에는 지금까지 해결한 모든 사건 파일가 들어있지는 않습니다. 그것은 너무 무겁기 때문입니다. 대신, 그 안에는 그 사건들로부터 얻은 교훈이 담겨 있습니다.

• 결정 규칙: "텍스트가 사실적 주장을 한다면, 사진을 걱정하기 전에 그것부터 확인하라."
• 피해야 할 실수: "텍스트가 약간 모호하다고 해서 불일치라고 가정하지 마라."
• 증거 단서: "물리적으로 불가능해 보이는 물체를 발견한다면, 그것은 시각적 왜곡의 신호다."

마법이 일어나는 과정은 다음과 같습니다:

1. 학습 단계: 컴퓨터(연구자들은 이를 "검증자(Verifier)"라고 부릅니다)는 일련의 연습 예시들을 살펴봅니다. 그리고 현재 가지고 있는 노트를 사용하여 문제를 해결하려고 시냅니다.
2. 편집자(Editor): 시스템의 두 번째 부분인 "편집자"는 검증자의 작업물을 살펴봅니다. 만약 검증자가 실수를 했다면, 편집자는 "왜 그렇게 했니?"라고 묻고, 다음에 같은 실수를 방지하기 위해 노트에 새로운 규칙을 적어 넣습니다.
3. 동결(Freeze): 일단 노트가 작성되면, 그것은 잠깁니다. 컴퓨터의 뇌(LVLM)는 정확히 동일하게 유지됩니다. 내부 코드를 변경하지 않습니다. 그저 노트를 가이드로 사용할 뿐입니다.

연구 결과

연구진은 수천 개의 캡션과 이미지가 포함된 MMFakeBench라는 데이터셋을 통해 이 아이디어를 테스트했습니다. 그들은 노트가 컴퓨터가 다음 네 가지 유형의 게시물을 구별하는 데 도움이 되는지 확인하고자 했습니다:

1. 원본(Original): 모든 것이 사실이며 서로 일치함.
2. 텍스트 왜곡(Textual Distortion): 텍스트가 거짓임.
3. 시각 왜곡(Visual Distortion): 이미지가 가짜임.
4. 불일치(Mismatch): 텍스트와 이미지가 서로 어울리지 않음.

결과는 인상적이었습니다. 노트 방식은 "매크로 F1(Macro-F1)"이라는 지표에서 **73.2%**를 기록했는데, 이는 쉬운 거짓말뿐만 아니라 모든 유형의 거짓말을 잘 잡아냈다는 의미입니다. 이는 다른 방법들보다 훨씬 뛰어난 성적이었습니다.

• 일반적인 "직접적(direct)" 접근 방식(노트 없이 그냥 컴퓨터에게 묻는 방식)은 약 **63.4%**를 기록했습니다.
• 여러 단계와 외부 검색 도구를 사용하는 복잡한 시스템(MMD-Agent)은 **57.3%**를 기록했습니다.

논문은 노트 방식이 효과적인 이유가 혼란스러운 임시적 사고를 명확하고 영구적인 규칙으로 바꾸어 주기 때문이라고 설명합니다. 이는 단순히 더 많은 정보를 갖는 것이 아니라, 그 정보를 사용하는 방법에 대한 올바른 지침을 갖는 것에 관한 문제입니다.

왜 노트가 승리하는가

이 방법의 가장 멋진 점 중 하나는 투명성입니다. 만약 당신이 컴퓨터가 왜 그런 결정을 내렸는지 알고 싶다면, 그냥 노트를 읽으면 됩니다. 컴퓨터가 따른 정확한 규칙을 볼 수 있습니다. 이는 컴퓨터의 결정이 "블랙박스"처럼 느껴지는 다른 방식들과는 다릅니다. 답은 얻었지만, 어떻게 그 답에 도달했는지는 알 수 없는 방식 말이죠.

연구진은 또한 노트가 컴퓨터가 까다로운 부분을 더 잘 처리하도록 돕는다는 것을 발견했습니다. 예를 들어, 한 테스트 케이스에서 캡션은 "블랙 카나리(Black Canary)는 실존한다"(슈퍼히어로를 지칭)라고 했고, 사진은 새를 보여주었습니다. 노트가 없는 컴퓨터는 "텍스트와 사진이 맞지 않으니 불일치다"라고 말했을 수도 있습니다. 하지만 노트에는 "텍스트 자체가 사실인지 먼저 확인하라"라는 규칙이 있었습니다. 덕분에 컴퓨터는 그것이 불일치가 아니라 텍st가 거짓(텍스트 왜곡)임을 정확히 식별해 냈습니다.

또 다른 예로, 해변에 비행기가 있고 배경에 가짜 용이 있는 사진이 있었습니다. 노트가 없는 컴퓨터는 용에 집중하여 "텍스트에 용에 대한 언급이 없으니 불일치다"라고 말했을 수도 있습니다. 하지만 노트에는 "이미지에 불가능한 것이 포함되어 있다면, 그것은 시각적 왜곡이다"라는 규칙이 있었습니다. 따라서 컴퓨터는 이미지가 문제임을 정확히 짚어냈습니다.

결론

이 논문은 우리가 AI 모델을 더 똑똑하게 만들기 위해 항상 더 크고 복잡하게 만들 필요는 없다는 것을 보여줍니다. 때로는 더 나은 가이드를 제공하는 것만으로 충분합니다. 과거의 실수로부터 얻은 교훈을 담은 "검증 노트"를 만듦으로써, 연구자들은 고정되고 변하지 않는 AI 모델이 미스인포메이션을 훨씬 더 잘 포착하도록 도울 수 있었습니다.

저자들은 이것이 더 나은 검증 시스템을 구축하는 실용적인 방법이라고 제안합니다. 이 방식은 가볍고, 확인하기 쉬우며, 이미 존재하는 거대한 AI 모델을 다시 훈련시킬 필요가 없습니다. 이는 때때로 최선의 학습 방법은 자신이 누구인지 바꾸는 것이 아니라, 다음에 잊지 않도록 배운 것을 적어두는 것임을 상기시켜 줍니다.