Adjudicated Captioning: Multi-Agent Alignment Scoring and Consensus-Distilled Beam Arbitration for Strict Zero-Shot Image Captioning

당신이 로봇에게 한 번도 본 적 없는 사진을 설명하는 법을 가르치려 한다고 상상해 보세요. 엄격한 제로샷 학습(strict zero-shot learning)의 세계에서는 로봇의 학습 기간 동안 사진과 정답 설명을 함께 보여주어서는 안 됩니다. 그것은 "엄격한 제로샷 학습 프로토콜을 위반하는 것"이기 때문입니다. 대신, 당신은 로봇에게 방대한 텍스트 설명 도서관과 단어를 바탕으로 사진이 어떻게 생겼을지 대략적으로 추측할 수 있는 특별한 안경을 줍니다. 로봇의 임무는 새로운 사진을 보고, 자신의 도서관에서 가장 유사한 설명을 찾아낸 다음, 그것들을 이용해 새로운 캡션을 작성하는 것입니다.

오랫동안 이 과정은 좌절스러운 벽에 부딪혔습니다. 로봇은 몇 개의 유사한 설명을 찾고, 그중 가장 좋은 것들을 골라낸 뒤, 자신의 내부 "언어 뇌"가 문장을 완성하도록 내버려 두었습니다. 문제는 로봇이 글을 쓰기 시작하면, 자신이 말하는 내용이 실제로 사진과 일치하는지 확인하는 것을 멈춘다는 것이었습니다. 로봇은 언어적으로 유창하고 문법적으로 정확하게 들리는 데 너무 집중한 나머지, 시각적 세부 사항을 무시하곤 했습니다. 이는 마치 유명한 산에 대한 대본을 외운 가이드가, 투어가 시작되자마자 눈앞의 산이 사실 화산이라는 점을 언급하는 것을 잊은 채, 그냥 일반적인 산이 얼마나 아름다운지에 대해서만 계속 떠드는 것과 같았습니다.

이 논문은 바로 그 문제를 다룹니다. 인공지능 및 컴퓨터 비전 분야의 연구자들은 로봇이 정직함을 유지할 수 있는 새로운 방법을 제안합니다. 그들은 이 방법을 "판결형 캡셔닝(Adjudicated Captioning)"이라고 부릅니다. 로봇이 이야기 전체를 쓰고 나서 결과가 잘 되기를 기도하게 만드는 대신, 여러 단계에서 작업 내용을 점검하는 엄격한 "판사" 팀을 설치합니다. 그들은 로봇의 뇌를 다시 훈련시키는 것이 아니라(이는 사진과 정답을 함께 보는 것을 의미함), 로봇이 초안을 작성한 후에 실행되는 똑똑하고 자기 수정적인 레이어를 추가합니다.

이 새로운 시스템이 어떻게 작동하는지 간단한 이야기를 통해 설명하겠습니다.

옛날 방식: 단 한 번의 확인
기존 시스템에서 로봇은 스노보더 사진을 보고 도서관에 "이것과 가까운 단어는 무엇인가?"라고 묻습니다. 로봇은 아홉 개의 유사한 설명을 찾습니다. 그리고 상위 다섯 개를 골라낸 뒤, 자신의 언어 뇌가 글을 쓰기 시작합니다. 로봇은 "스노보더와 스노보더가 포즈를 취하고 있다"라고 씁니다. 시스템은 거기서 멈춥니다. 시스템은 "잠깐, 사진에 정말 사람이 두 명 있는가?"라고 묻지 않습니다. 그저 자신의 언어 뇌가 맞다고 믿을 뿐입니다. 이로 인해 캡션이 얼마나 좋은지를 측정하는 표준 테스트인 CIDEr 점수는 108.0을 기록했습니다.

새로운 방식: 다단계 법정
저자들은 로봇에게 한 번 이상의 확인이 필요하다는 것을 깨달았습니다. 그들은 정답(ground truth)을 전혀 보지 않고도 협력하여 작동하는 세 명의 새로운 "판사"로 구성된 파이프라인을 구축했습니다.

1. 더 강력한 사서 (1단계): 먼저, 그들은 로봇의 안경을 훨씬 더 날카로운 쌍으로 교체했습니다. 표준 렌즈 대신, 훨씬 거대하고 강력한 모델(OpenCLIP ViT-bigG/14)을 사용하여 초기 설명을 찾았습니다. 이것만으로도 로봇은 더 똑똑해졌으며, 점수를 111.6으로 끌어올렸습니다.
2. 교차 검증가 (2단계): 다음으로, 두 번째 판사를 추가했습니다. 이 판사는 단순히 단어만 보는 것이 아니라, 사진과 텍스트 사이의 관계를 정말로 깊이 연구하기 위해 특별한 "교차 주의(cross-attention)" 도구(BLIP-ITM Verifier)를 사용합니다. 이 판사는 사서가 찾은 상위 9개의 설명을 가져와 재순위를 매기고, 가장 좋은 5개를 선택합니다. 이 판사는 사서와는 다릅니다. 그는 사서가 놓치는 것을 잡아냅니다. 만약 사서가 사진이 "한 남자"에 관한 것이라고 생각한다면, 이 판사는 그것이 사실 "두 명의 남자"라는 것을 알아챌 수 있습니다. 이 단계는 매우 중요한데, 두 판사가 서로 의견이 다를 때가 많으며, 그 불일치가 시스템이 진실을 찾는 데 도움을 주기 때문입니다.
3. 최종 중재자 (4단계): 마지막으로, 로봇은 20개의 가능한 문장 목록("빔", beam)을 생성합니다. 보통은 가장 유창하게 들리는 문장을 고르겠지만, 이제 두 개의 새로운, 스스로 학습된 작은 AI 헤드(TriFuse와 MemAttend라고 명명됨)가 개입합니다. 이 헤드들은 20개의 문장을 살펴보고 각 문장에 대해 세 가지 질문을 던집니다:
   • 언어 뇌가 이 문장을 좋아하는가?
   • 더 강력한 사서가 이 문장이 사진과 일치한다고 생각하는가?
   • 교차 검증가가 이 문장이 사진과 일치한다고 생각하는가?

이 두 새로운 헤드는 영리한 방식으로 훈련됩니다. 그들은 직접적인 정답을 배우는 대신, 위의 세 명의 판사를 관찰합니다. 만약 세 명의 판사 모두가 특정 문장이 최고라고 동의한다면, 새로운 헤드들은 그 문장을 선택하는 법을 배웁니다. 이는 마치 학생이 정답을 직접 듣는 대신, 전문가 패널이 정답에 대해 합의하는 과정을 지켜보며 배우는 것과 같습니다.

결과
이러한 점검 과정을 추가함으로써, 시스템은 단순히 더 좋게 들리는 것을 넘어 더 정확해졌습니다. COCO Karpathy 테스트에서 새로운 시스템은 이전 최고점인 108.0을 크게 뛰어넘어 117.6의 CIDEr 점수에 도달했습니다. 더욱 놀라운 점은, 이 시스템이 "가짜" 이미지를 생성하여 스스로를 훈련시킨 다른 AI 방식(109.9점 기록)을 이겼다는 것이며, 이 모든 과정은 로봇이 훈련 중에 단 하나의 쌍을 이룬 이미지와 캡션도 보지 않은 상태에서 이루어졌습니다.

논문은 또한 Flickr30k 및 NoCaps와 같은 다양한 유형의 사진에서도 이 시스템을 테스트했습니다. 시스템은 이 점수들도 개선하여 각각 +8.1과 +5.7 포인트를 획득했으며, 이는 이 "다중 판사" 접근 방식이 로봇이 구체적으로 훈련받지 않은 사진에서도 효과적임을 입증합니다.

그들이 배제한 것들
연구자들은 이것이 마법이 아님을 보여주기 위해 주의를 기울였습니다. 그들은 단순히 언어 뇌를 더 강하게 만드는 것이 정답이 아니라는 것을 증명했습니다. 개선은 이미지-텍스트 일치를 어디서 그리고 어떻게 확인하느냐에서 왔습니다. 또한 단순히 두 번째 판사를 추가하는 것만으로는 충분하지 않다는 것도 보여주었습니다. 판사들은 서로 다른 종류의 모델(하나는 dual encoder, 다른 하나는 cross-attention matcher)이어야 하며, 그래야 서로 다른 종류의 실수를 잡아낼 수 있습니다. 그들은 또한 "부정적인" 아이디어, 즉 로봇에게 무엇을 말하지 말아야 할지 가르치기 위해 가장 좋지 않은 설명들을 사용하는 실험을 진행했습니다. 그것은 오히려 상황을 악화시켰으며, 가장 잘 맞는 것에 집중하는 것이 옳은 길임을 증명했습니다.

얼마나 확신하는가?
논문은 이 수치들에 대해 매우 자신감이 있습니다. 그들은 테스트를 여러 번 실행하여 결과가 안정적이며, 컴퓨터 하드웨어의 특이한 현상으로 인한 아주 미세한 무작위 변동(약 0.1점)만 존재한다는 것을 발견했습니다. 또한, 이 개선이 단순히 테스트 세트와 동일하게 훈련된 버전의 판사를 사용했기 때문이 아니라는 점도 보여주었습니다. 다른 사진 세트로 훈련된 판사로 교체하더라도 시스템은 여전히 유의미하게 개선되었습니다.

요약하자면, 이 논문은 AI 캡셔닝이 정체되었던 이유가 로봇이 멍청해서가 아니라, 자신의 말을 너무 신뢰했기 때문임을 시사합니다. 매 단계마다 작업 내용을 검증하는 독립적이고 자기 지도 학습적인 판사 팀을 추가함으로써, 시스템은 엄격한 제로샷 학습의 규칙을 어기지 않으면서도 세상을 더 정확하게 묘사하는 법을 배웠습니다.