💬 NLP

BEiTScore: Reference-free Image Captioning Evaluation with an Efficient Cross-Encoder Model

본 논문은 계산 효율성을 유지하면서 민감도와 구성적 일반화 분야에서 최첨단 성능을 달성하기 위해 적대적 LLM 증강 데이터로 훈련된 경량 교차 인코더 모델을 활용하는 참조 없는 이미지 캡션 평가 지표인 BEiTScore를 소개합니다.

원저자: Gonçalo Gomes, Bruno Martins, Chrysoula Zerva

게시일 2026-05-22

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Gonçalo Gomes, Bruno Martins, Chrysoula Zerva

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

한 학생이 그림에 대한 설명을 작성했을 때, 이를 채점하려는 미술 평론가가 되어 상상해 보세요. 학생은 "빨간 개가 파란 공을 쫓고 있다"고 말합니다. 하지만 그림 속 개는 실제로 파란색이고, 빨간 공을 쫓고 있습니다.

오랫동안 이러한 설명을 채점하려던 컴퓨터들은 사용된 단어의 목록만 보고, 그 단어가 만들어내는 이야기는 보지 못하는 평론가들과 같았습니다. 학생이 제시한 단어 목록이 그림의 단어 목록 (빨간색, 개, 파란색, 공) 과 일치하면, 설명이 완전히 잘못되었더라도 컴퓨터는 높은 점수를 부여합니다. 이는 마치 학생이 "파란 공이 빨간 개를 쫓고 있다"고 썼을 때, 올바른 어휘를 사용했다는 이유만으로 문장이 전혀 의미가 없음을 무시하고 'A'를 주는 것과 같습니다.

이 논문은 BEiTScore라는 새로운, 더 지능적인 채점 시스템을 소개합니다. 그 작동 원리를 간단히 설명하면 다음과 같습니다:

1. 문제: "단어 주머니"의 함정

대부분의 현재 이미지 설명을 검증하는 컴퓨터 프로그램 (CLIP 기반 모델 등) 은 문장을 구슬 주머니처럼 취급합니다. 주머니 안에 "빨간색" 구슬이나 "개" 구슬이 몇 개나 있는지 세는 것입니다. 주머니에 올바른 구슬들이 들어 있으면, 그들은 설명이 좋다고 가정합니다.

결함: 그들은 "개가 고양이를 쫓았다"와 "고양이가 개를 쫓았다"의 차이를 구별하지 못합니다. 또한 긴 이야기에는 어려움을 겪습니다. 설명이 너무 길어지면 (77 단어를 초과), 이러한 프로그램들은 종종 읽기를 중단하고 추측만 하며, 끝부분의 세부 사항을 놓칩니다.

2. 해결책: "탐정" 모델

저자들은 BEiTScore를 개발했는데, 이는 단순한 단어 세는 기계가 아니라 탐정처럼 행동합니다.

생각하는 방식: 단어 목록만 보는 대신, 전체 그림과 전체 문장을 동시에 봅니다. "이 특정 단어가 이 특정 이미지 속의 이 특정 위치에 어울리는가?"라고 묻습니다.
훈련: 이 탐정을 가르치기 위해 저자들은 올바른 설명만 보여주지 않았습니다. 대신 강력한 AI 인 "악당"을 이용해 교묘하고 가짜인 설명을 생성했습니다.
- 예시: AI 는 올바른 문장을 가져와 역할을 바꾸었습니다. "남자가 여자를 안고 있다"가 "여자가 남자를 안고 있다"가 되는 식입니다.
- BEiTScore 모델은 이러한 미묘한 속임수를 찾아내도록 훈련받았으며, 어떤 사물이 존재하는지뿐만 아니라 누가 누구에게 무엇을 하고 있는지에 주의를 기울이는 법을 배웠습니다.

3. "긴 이야기" 도전

소설을 읽으려는데, 눈이 처음 두 문장만 집중할 수 있고 그 이후로는 피로해져서 더 이상 읽지 못한다고 상상해 보세요. 이것이 오래된 모델들이 긴 캡션과 할 때 하는 일입니다.

BEiTScore 의 초능력: 이 모델은 이미지와 관련된 길고 상세한 이야기들로 훈련되었습니다. 첫 단어부터 마지막 단어까지 전체 캡션을 읽을 수 있으며, "피로해지거나" 집중력을 잃지 않습니다. 다른 모델들이 놓치는 긴 설명의 중간 깊숙한 곳이나 맨 끝에서 발생하는 오류를 찾아낼 수 있습니다.

4. 결과: 더 똑똑하고 빠름

이 논문은 BEiTScore 를 두 가지 유형의 경쟁자와 비교하여 테스트했습니다:

"단어 세는 기계" (인코더): 빠르지만 종종 세부 사항과 관련해 어리석은 실수를 저지릅니다.
"거대한 두뇌" (LLM): 긴 이야기를 읽고 세부 사항을 찾아낼 수 있는 거대하고 초지능적인 모델이지만, 실행하는 데 느리고 비용이 많이 듭니다 (식료품 목록을 확인하기 위해 슈퍼컴퓨터를 사용하는 것과 같습니다).

BEiTScore 의 성과:

"단어 세는 기계"보다 더 많은 오류를 잡아냈습니다.
복잡한 오류 (역할 바꾸기나 사물 세기 등) 를 찾아내는 데 있어 "거대한 두뇌"와 거의同等한 수준이었습니다.
가장 좋은 점: "거대한 두뇌"보다 30 배에서 100 배까지 더 빠르게 실행됩니다. 이는 천재만큼 예리한 탐정이지만 일반인의 속도로 일하는 것과 같습니다.

5. 새로운 테스트 (LongCapVLCP)

저자들은 기존 테스트가 너무 쉬웠음을 깨달았습니다. 짧은 문장만 사용했기 때문입니다. 그래서 LongCapVLCP라는 새롭고 더 어려운 테스트를 만들었습니다.

이 테스트는 매우 긴 설명을 사용하며, 이미지 내부에 작성된 텍스트 (예: 배경에 있는 "개방"이라고 적힌 간판) 와 같은 교묘한 오류를 포함합니다.
이 새로운 어려운 테스트에서 BEiTScore 는 긴 텍스트를 읽고 오류를 찾아낼 수 있음을 증명했지만, 기존의 "단어 세는 기계"들은 완전히 실패했습니다.

요약

BEiTScore는 이미지 설명을 채점하기 위한 새로운 도구입니다. 컴퓨터가 단순히 단어를 세는 것에서 벗어나 단어와 이미지 간의 관계를 이해하도록 학습함으로써 오래된 문제를 해결합니다. 이는 긴 설명 속에 숨겨진 미묘한 거짓말을 찾아낼 만큼 똑똑하고, 수천 장의 이미지에 적용될 만큼 빠르며, 이 일을 수행하기 위해 비싸고 느린 슈퍼컴퓨터가 필요하지 않습니다.

기술 요약: BEiTScore

문제 정의

이미지 캡션 평가는 비전 - 언어 모델 (VLM) 이 장문의 맥락이 풍부한 설명을 생성하도록 진화함에 따라 상당한 도전에 직면해 있습니다. 현재 최첨단 평가 지표는 두 가지 문제적인 범주로 나뉩니다:

LLM 기반 판정자: 인간 판단과 높은 상관관계를 달성하지만, 막대한 계산 비용과 긴 추론 시간을 초래하여 대규모 벤치마킹이나 실시간 품질 인식 디코딩에는 실용적이지 않습니다.
인코더 기반 지표 (예: CLIPScore): 계산 효율적이지만 치명적인 한계를 겪습니다. 캡션을 "단어 주머니 (bags-of-words)"로 취급하여 구성적 관계에 대한 세밀한 민감도가 부족합니다. 또한, 표준 CLIP 모델은 사전 학습 제약 (일반적으로 77 토큰 제한) 으로 인해 짧은 캡션에 편향되어 장문의 내러티브에서는 성능이 저하되며 미묘한 시각 - 언어적 오류를 감지하지 못합니다.

기존의 참조 없는 (reference-free) 지표는 인간 판단과의 높은 상관관계, 긴 설명 처리 능력, 그리고 비싼 LLM 에 의존하지 않고 세밀한 환각 (예: 공간 관계, 속성 바인딩, 카운팅) 감지 사이의 균형을 맞추는 데 어려움을 겪고 있습니다.

방법론

저자들은 경량 교차 인코더 아키텍처를 기반으로 한 새로운 학습형 참조 없는 평가 지표인 BEiTScore를 제안합니다.

모델 아키텍처

기본 모델: 이 지표는 이미지를 언어 토큰과 유사한 이산 토큰으로 표현하는 통합 멀티모달 기초 모델인 BEiT-3아키텍처를 활용합니다.
초기화: 모델은 비전 질문 답변 (VQA) 체크포인트에서 워밍업됩니다. 이는 비전과 언어를 정렬하는 목표에 유익한 사전 지식을 제공합니다.
출력: 회귀 헤드 (GeLU 활성화 함수를 가진 단일 은닉층) 가 교차 모달 어텐션 출력을 처리하여 이미지와 캡션 간의 정렬 품질을 나타내는 $[0, 1]$ 범위의 점수를 생성합니다.

학습 전략

학습 계획은 모델이 다양하고 복잡한 시각 - 언어적 관계에 노출되도록 설계된 신중하게 구성된 데이터 혼합물을 사용하는 2 단계 커리큘럼을 채택합니다:

1 단계: 쌍별 대비 학습
- 목표: 이진 판별 (두 캡션 중 어느 것이 이미지와 사실적으로 일치하는지 식별).
- 데이터: Foil-It, TextCaps, Pixel-Prose, LocalizedNarratives를 포함한 커스텀 데이터셋 혼합물.
- 적대적 증강: 세밀한 오류에 대한 민감도를 높이기 위해 저자들은 적대적 데이터 증강 파이프라인을 사용합니다:
  - LLM 기반 교란: Qwen3 를 사용하여 객체, 속성, 공간 관계, 동작, 행위자 역할, 카운팅을 수정하여 사실적으로 잘못되었지만 유창한 캡션을 생성합니다.
  - 합성 손상: "코브라 효과 (Cobra Effect)"에서 영감을 받아 단어/문장 셔플링, 품사의 반복과 같은 텍스트 손상을 도입하여 단어 주머니 행동을 상쇄합니다.
  - 하드 네거티브 마이닝: 높은 유사도 점수를 내는 잘못된 캡션을 검색하여 쉽게, 중간, 어려운 네거티브 카테고리를 생성합니다.
- 점진적 학습: 학습은 반복적으로 진행되며, 기초 추론 (공간, 역할, 동작) 으로 시작하여 정량적 정제 (카운팅) 를 거쳐 마지막으로 장면 텍스트 통합으로 이어집니다.
2 단계: 정렬 파인튜닝
- 목표: 연속적인 인간 판단 점수와 일치하도록 회귀 수행.
- 데이터: VICR, POLOS, Nebula, EvalMuse-40k와 같은 인간 평점이 포함된 데이터셋의 학습 분할.
- 손실 함수: 정규화된 인간 점수 ( $q_i \in [0, 1]$ ) 와 직접적인 정렬을 최적화하기 위해 L1 손실을 사용합니다.

주요 기여

BEiTScore 지표: VQA 체크포인트에서 초기화된 경량 교차 인코더를 활용하는 참조 없는 평가 지표입니다. LLM 기반 대안보다 20~~60 배 더 작고 30~~100 배 더 빠르면서도 최첨단 성능을 달성합니다.
적대적 학습 파이프라인: LLM 을 사용하여 하드 네거티브와 합성 텍스트 손상을 생성하는 새로운 데이터 증강 전략으로, 소형 모델이 세밀한 시각 - 언어적 오류와 구성 구조를 감지하도록 훈련하도록 특별히 설계되었습니다.
LongCapVLCP 벤치마크: 77 토큰 제한을 넘어선 상세한 캡션 평가를 위해 설계된 새로운 벤치마크입니다. 다음을 포함합니다:
- 장편 내러티브: 표준 토큰 제한을 초과하는 캡션에 대한 성능 평가.
- 장면 텍스트 인식: 이미지 내의 텍스트 정보를 캡션에서의 언급과 매핑하는 능력을 평가하는 특정 작업으로, 기존 연구에서 소홀히 다루어진 측면입니다.
- 다양한 오류 범주: 행위자 교체, 동작 동사, 카운팅, 공간 관계, 장면 텍스트 오류 포함.

실험 결과

저자들은 BEiTScore 를 11 개 벤치마크에서 평가하여 인코더 기반 방법 (예: CLIPScore, PAC-S, LongCLIP) 과 LLM 기반 방법 (예: EXPERT, FLEUR, VQAScore) 과 비교했습니다.

인간 상관관계: BEiTScore (특히 L/14 변형) 는 여러 데이터셋 (VICR, Polaris, Nebula 등) 에서 인간 판단과의 Kendall's $\tau$ 상관관계에서 최첨단 성능을 달성하며, 종종 EXPERT 및 FLEUR 과 같은 LLM 기반 지표를 능가합니다.
세밀한 지각:
- 객체 환각 (nocaps-FOIL): BEiTScore 는 인코더 기반 모델보다 우수하며, 객체 환각이 있는 캡션과 올바른 캡션을 구분하는 데 있어 LLM 기반 성능과 일치합니다.
- 속성 및 구조적 환각 (SugarCREPE): 모델은 "교체 (swap)" 작업에서 인코더 기반 경쟁자들을 크게 능가하여 구조적 및 관계적 구성에 대한 우수한 이해를 보여줍니다.
- 구성적 추론 (VALSE 및 Winoground): BEiTScore 는 전통적인 인코더가 종종 실패하는 카운팅, 공간 관계, 동작 이해와 같은 전체적 추론이 필요한 작업에서 탁월한 성과를 냅니다.
장편 및 장면 텍스트 (LongCapVLCP):
- 표준 인코더 기반 지표 (CLIP, PAC) 는 77 토큰을 초과하거나 토큰 제한 이후에 배치된 장면 텍스트 오류가 포함된 캡션에서 무작위 확률 수준 이하로 수행됩니다.
- BEiTScore 는 장편 내러티브 전반에 걸쳐 판별 능력을 유지하며 장면 텍스트 인식을 효과적으로 처리하여 LLM 기반 EXPERT 지표의 성능과 일치합니다.
효율성: 전문화된 LLM 기반 지표의 성능과 일치하거나 초과함에도 불구하고, BEiTScore 는 훨씬 적은 GFLOPs 를 요구합니다 (예: BEiTScore-L/14 는 296 GFLOPs 인 반면 EXPERT 는 약 9300 GFLOPs).

중요성 및 주장

이 논문은 이미지 캡션 평가에서 LLM 기반 지표의 우세가 모델 규모만의 결과라기보다는 훈련 중 소형 모델이 복잡하고 장편의 텍스트 데이터에 노출되는 정도가 부족하기 때문이라고 주장합니다.

적대적 증강을 통한 타겟팅된 학습 커리큘럼을 도입하고 BEiT-3 아키텍처를 활용함으로써 BEiTScore 는 효율적인 인코더 기반 아키텍처와 LLM 의 복잡한 추론 능력 사이의 격차를 해소합니다. 저자들은 BEiTScore 가 인간 판단과의 강한 상관관계와 정교한 구성적 지각을 제공하면서도 대규모 언어 모델의 계산 오버헤드가 없는 비용 효율적인 자동 평가 솔루션을 제공한다고 주장합니다. LongCapVLCP 벤치마크의 도입은 장편 설명과 장면 텍스트 처리에 있어 현재 지표의 한계를 부각시켜 이러한 능력을 평가하는 새로운 기준을 수립합니다.