PoSh: Using Scene Graphs To Guide LLMs-as-a-Judge For Detailed Image Descriptions

이 논문은 상세한 이미지 설명 평가를 위해 장면 그래프를 구조적 기준서로 활용하여 LLM 을 지시자로 안내하는 새로운 지표 'PoSh'와 예술 작품에 대한 전문 평가 데이터셋 'DOCENT'를 제안하며, 기존 평가 방법보다 인간 평가와 높은 상관관계를 보임으로써 VLM 의 발전과 보조 텍스트 생성 분야에 기여함을 보여줍니다.

핵심

이 논문은 **"이미지를 얼마나 잘 설명하는지"**를 평가하는 새로운 방법과 그걸 테스트할 새로운 시험지를 소개합니다.

기존의 인공지능 (AI) 은 이미지를 보고 "개 한 마리가 있다"라고 짧게 말하거나, "개는 공을 물고 있다"라고 말해왔습니다. 하지만 이제 AI 는 그림의 모든 디테일 (옷차림, 표정, 배경의 작은 물건들, 사람들과 사물 간의 복잡한 관계) 을 완벽하게 설명해야 하는 시대가 왔습니다. 문제는 **"그 설명이 정말 좋은지, 나쁜지 어떻게 알 수 있을까?"**입니다.

이 논문은 이 문제를 해결하기 위해 POSH라는 새로운 평가 도구와 DOCENT라는 새로운 시험지를 만들었습니다.

---

1. 왜 기존 평가 방법은 안 될까요? (과거의 문제)

예전에는 AI 가 쓴 설명을 평가할 때 CIDEr이나 SPICE 같은 점수판을 썼습니다.

• 비유: 이는 마치 **"수업 시간에 3 줄짜리 짧은 답안지"**를 채점하는 방식입니다.
• 문제점: 이제 AI 는 10 줄, 20 줄에 달하는 긴 설명을 씁니다. 그런데 기존 점수판은 "개"라는 단어가 맞으면 점수를 주고, "개"가 틀리면 감점합니다. 하지만 AI 가 "개"를 "강아지"라고 썼거나, "개"가 "공을 물고 있다"는 사실은 맞는데 "공"을 "원반"이라고 잘못 썼을 때는 기존 점수판이 이를 놓칩니다.
• 결과: AI 가 중요한 디테일을 빼먹거나, 엉뚱한 사실을 섞어 써도 점수가 비슷하게 나와서 어떤 설명이 더 좋은지 알 수 없습니다.

2. POSH: 그림을 '레고'로 분해해서 채점하다

이 논문이 제안한 POSH는 기존 방식과 완전히 다릅니다.

• 핵심 아이디어: AI 가 쓴 설명과 전문가가 쓴 정답 설명을 모두 **'장면 그래프 (Scene Graph)'**라는 레고 블록 형태로 바꿉니다.

  • 레고 비유: 그림 속의 '사람', '옷', '행동'을 각각 레고 블록으로 봅니다.
  • 작동 원리:
    1. AI 가 쓴 설명을 레고로 조립합니다.
    2. 전문가의 정답 설명도 레고로 조립합니다.
    3. **LLM-as-a-Judge (AI 심판)**가 두 레고 구조를 비교합니다.
    4. "정답에는 '빨간 모자'가 있는데 AI 설명에는 없네? (누락)" 또는 "AI 는 '파란 모자'라고 했는데 정답은 '빨간 모자'야? (오류)"라고 구체적으로 찾아냅니다.

• 장점:

  • 투명함: "왜 점수가 낮았나요?"라고 물으면, "빨간 모자 부분을 놓쳤기 때문입니다"라고 정확히 알려줍니다. (기존 방식은 "점수가 60 점입니다"라고만 알려줌)
  • 저렴함: 비싼 유료 AI 를 쓸 필요 없이, 오픈소스 모델을 써서 누구나 똑같이 채점할 수 있습니다.

3. DOCENT: 미술관에서의 새로운 시험

이 새로운 평가 도구 (POSH) 가 정말 잘 작동하는지 확인하기 위해, 연구진은 DOCENT라는 새로운 시험지를 만들었습니다.

• 시험 내용: 미국 국립미술관 (National Gallery of Art) 의 고전 명화, 스케치, 조각품 1,750 점을 대상으로 합니다.
• 특이점:
  • 전문가 정답: 미술사 전공자들이 쓴 매우 상세한 설명이 있습니다. (예: "이 남자는 왼쪽을 보고 있으며, 붉은색 실크 셔츠를 입고 있다")
  • 학생 심판단: 미술사 전공 학생 24 명이 AI 가 쓴 설명을 보고 "어디가 틀렸는지", "무엇이 빠졌는지"를 꼼꼼하게 체크했습니다.
  • 난이도: 웹상의 일반적인 사진이 아니라, 복잡한 배경과 많은 인물이 등장하는 예술 작품이라서 AI 가 실수하기 매우 어렵습니다.

4. 실험 결과: 무엇이 달라졌나요?

연구진은 POSH 를 사용해 다양한 AI 모델들을 시험했습니다.

1. POSH vs 기존 점수판: POSH 가 인간 심판단의 평가와 훨씬 더 잘 일치했습니다. (기존 점수판은 AI 의 실수를 못 찾아냈지만, POSH 는 정확히 찾아냈습니다.)
2. POSH vs GPT-4o: 비싼 유료 AI 심판 (GPT-4o) 보다도 POSH 가 더 좋은 성능을 보였습니다.
3. 학습 도구로서의 POSH: POSH 점수를 보상으로 AI 를 훈련시키니, 기존 방식보다 훨씬 더 디테일한 설명을 만들어냈습니다.

5. 결론: 왜 이것이 중요한가요?

이 연구는 단순히 점수를 매기는 방법을 바꾼 것이 아닙니다.

• 접근성 (Accessibility): 시각 장애인이 그림을 볼 때, AI 가 만들어주는 설명이 "개 한 마리"가 아니라 "옷차림과 표정까지 생생하게 묘사된 설명"이어야 합니다. POSH 는 그런 고품질 설명을 만들어내는 AI 를 키우는 나침반이 됩니다.
• 진정한 이해: AI 가 그림을 '보는' 것을 넘어, 그림의 복잡한 관계와 디테일을 '이해'하고 있는지 측정할 수 있는 첫걸음입니다.

한 줄 요약:

"기존에는 AI 가 그림 설명을 할 때 '맞는지 틀린지'만 대충 봤다면, POSH는 AI 가 그림의 모든 레고 조각을 제대로 조립했는지 꼼꼼히 검사하여, 더 정확하고 아름다운 설명을 만들어내는 AI 를 키우는 나침반이 되었습니다."

기술 요약

1. 문제 정의 (Problem Statement)

시각 - 언어 모델 (VLM) 은 이미지 캡션 생성 분야에서 큰 진전을 이루었으나, 상세한 이미지 설명 (Detailed Image Description) 평가는 여전히 난제입니다.

• 기존 지표의 한계: CIDEr, SPICE 와 같은 전통적인 지표는 짧은 텍스트에 맞춰 설계되었으며, 객체 오인식과 같은 과거의 오류를 감지하도록 튜닝되었습니다. 그러나 긴 텍스트의 상세 설명에서는 속성 (attribute) 과 관계 (relation) 의 연결 오류, 특정 텍스트 구간의 오류 국소화 (localization) 가 중요합니다.
• LLM-as-a-Judge 의 문제: 최근 LLM 을 평가자로 사용하는 방식은 등장했으나, 대부분 단일한 전체 점수 (coarse score) 만 제공하여 구체적인 오류 원인 (예: 누구의 어떤 속성이 잘못 기술되었는지) 을 파악하기 어렵고, 재현성 (replicability) 이 낮거나 비용이 많이 듭니다.
• 데이터 부족: 상세한 이미지 설명을 평가할 수 있는 인간 평가 데이터 (특히 세밀한 오류와 누락을 식별한 데이터) 가 부족합니다.

2. 방법론 (Methodology)

저자들은 POSH (PrOofing Scene grapHs) 라는 새로운 평가 지표와 이를 검증하기 위한 DOCENT라는 새로운 벤치마크를 제안합니다.

A. POSH (평가 지표)

POSH 는 생성된 설명과 참조 (Reference) 설명으로부터 장면 그래프 (Scene Graph) 를 추출하여 구조화된 루브릭 (rubric) 으로 활용하고, 이를 기반으로 LLM 을 평가자 (Judge) 로 유도합니다.

1. 장면 그래프 추출: 생성된 텍스트와 참조 텍스트에서 문장 수준의 의존성 구문 분석 (dependency parsing) 과 코어퍼런스 해결 (coreference resolution) 을 통해 객체 (Object), 속성 (Attribute), 관계 (Relation) 로 구성된 장면 그래프를 추출합니다. 이는 텍스트의 표면적 다양성을 핵심 시각 구성 요소로 축소합니다.
2. 세밀한 점수화 (Granular Scoring): 추출된 장면 그래프의 각 구성 요소를 다른 텍스트 (참조 또는 생성) 에 존재하는지 여부를 LLM 을 통해 질문 - 답변 (QA) 방식으로 확인합니다.
   • 오류 (Mistakes): 생성된 설명에 있는 요소가 참조에 없는지 확인 (정밀도, Precision).
   • 누락 (Omissions): 참조에 있는 요소가 생성된 설명에 없는지 확인 (재현율, Recall).
   • 이 과정에서 동일한 클래스의 객체를 구별하기 위해 고유 식별자 (unique identifiers) 를 동적으로 생성하여 적용합니다.
3. 집계 점수화 (Coarse Scoring): 세밀한 점수들을 평균화하여 전체적인 오류, 누락, 품질에 대한 해석 가능한 (interpretable) 집계 점수를 도출합니다.
   • 장점: 오픈 가중치 (open-weight) 모델만 사용하여 재현성이 높고 비용 효율적이며, 오류가 발생한 구체적인 텍스트 구간을 파악할 수 있습니다.

B. DOCENT (벤치마크)

POSH 를 검증하기 위해 미술 작품에 특화된 새로운 데이터셋을 구축했습니다.

• 구성: 미국 국립미술관 (NGA) 의 공개 데이터에서 선정한 1,750 점의 미술 작품 (회화, 스케치, 조각 등) 과 전문가가 작성한 상세한 접근성 텍스트 (assistive text) 를 포함합니다.
• 평가 데이터: 100 개의 이미지에 대해 최신 VLM 들 (LLaVA, Molmo, GPT-4o, Claude 등) 이 생성한 설명과, 미술사 전공 학생 및 전문가가 수행한 세밀한 (granular) 및 집계 (coarse) 품질 평가를 포함합니다.
• 특징: 기존 벤치마크보다 시각적 복잡도가 훨씬 높으며 (객체 수, 사람 수, 관계의 다양성), 평가자가 오류와 누락을 텍스트 구간 단위로 직접 표시한 데이터가 포함되어 있습니다.

3. 주요 기여 (Key Contributions)

1. POSH 지표 제안: 장면 그래프를 구조화된 루브릭으로 활용하여 LLM 을 가이드하는 새로운 평가 지표. 이는 해석 가능하고 재현 가능하며, 인간 평가자와 높은 상관관계를 보입니다.
2. DOCENT 벤치마크 공개: 상세한 이미지 설명 평가를 위한 새로운 표준 데이터셋. 1,750 점의 작품과 900 개의 세밀한/집계 평가 데이터를 포함하며, 접근성 텍스트 생성 연구에 기여합니다.
3. 성능 검증: POSH 는 기존 지표 (SPICE, CAPTURE 등) 와 GPT-4o 를 포함한 최신 LLM-as-a-Judge 보다 인간 평가 순위와 더 높은 상관관계 (Spearman $\rho$) 를 보였습니다.
4. 강화학습 보상 함수로서의 활용: POSH 를 보상 함수로 사용하여 VLM 을 미세 조정 (RL) 한 결과, 기존 지도 학습 (SFT) 보다 더 나은 상세 설명을 생성함을 입증했습니다.
5. 모델 성능 분석: 오픈 소스 및 폐쇄형 모델들을 DOCENT 에서 평가하여, 복잡한 장면 역학을 가진 이미지에서 모델들이 여전히 완전하고 오류 없는 설명을 생성하는 데 어려움을 겪고 있음을 규명했습니다.

4. 실험 결과 (Results)

• 세밀한 평가 (Granular): DOCENT 에서 POSH 는 오류 (Mistakes) 식별 F1 점수 0.580, 누락 (Omissions) 식별 F1 점수 0.680을 기록하여 모든 베이스라인 (4GramEmbed, SGEmbed 등) 을 압도했습니다.
• 집계 평가 (Coarse):
  • DOCENT: POSH 는 GPT-4o 를 포함한 모든 재현 가능한 오픈 소스 지표보다 높은 상관관계를 보였습니다. (오류: +0.11, 누락: +0.07, 전체 품질: +0.05 Spearman $\rho$ 향상).
  • CapArena (웹 이미지): POSH 는 이미지 유형에 관계없이 강건함을 입증했으며, 시각적으로 복잡한 하위 집합 (사람이 3 명 이상인 이미지) 에서는 더 큰 VLM 인 LLaVA-Critic 보다 우수한 성능을 보였습니다.
• RL 적용: POSH 를 보상 함수로 사용한 DAPO 기반 강화학습은 SFT 대비 누락을 크게 줄이고 전체 품질을 향상시켰습니다.
• 효율성: POSH 는 H100 GPU 에서 400 개의 예시를 15 분 내에 처리할 수 있어 (초당 약 2 개), 수동 평가 (1 개당 18 분) 에 비해 비용 대비 효율이 매우 높습니다.

5. 의의 및 결론 (Significance)

이 연구는 상세한 이미지 설명 평가의 새로운 기준을 제시합니다.

• 해석 가능성: 단순히 "좋다/나쁘다"가 아닌, 어떤 속성이나 관계가 잘못되었는지 구체적으로 지적하여 모델 개선 방향을 제시합니다.
• 접근성: 미술 작품과 같은 복잡한 시각 콘텐츠에 대한 접근성 텍스트 (alt-text) 생성 기술 발전에 기여하며, 시각 장애인을 위한 보조 기술 향상에 직접적으로 기여할 수 있습니다.
• 재현성: 폐쇄형 API 에 의존하지 않는 오픈 가중치 기반의 평가 체계를 제공하여 연구 커뮤니티의 투명성과 재현성을 높입니다.

결론적으로, POSH 와 DOCENT 는 VLM 이 단순한 객체 인식을 넘어 복잡한 장면의 세부 사항과 관계를 정확하게 이해하고 기술하는 능력을 평가하는 데 필수적인 도구로 자리 잡을 것으로 기대됩니다.