SANEval: Open-Vocabulary Compositional Benchmarks with Failure-mode Diagnosis

기술 요약: SANEval

문제 정의

Stable Diffusion, Imagen, GPT-4o와 같은 텍스트-이미지(T2I) 모델의 급격한 발전에도 불구하고, 여러 객체, 특정 속성, 그리고 공간적 관계를 포함하는 복잡한 프롬프트를 충실하게 렌더링하는 능력은 여전히 중요한 병목 구간으로 남아 있다. 기존의 평가 방법들은 다음과 같은 세 가지 주요 한계점을 갖는다:

1. 폐쇄형 어휘 집합(Closed-Set Vocabularies): 기존 벤치마크는 고정된 데이터셋(예: MS-COCO의 80개 클래스)으로 학습된 객체 탐지기에 의존하는 경우가 많아, 실제 세계의 객체나 희귀한 객체를 평가할 수 없는 "어휘 불일치" 문제를 야기한다.
2. 진단적 세밀함의 부족(Lack of Diagnostic Granularity): 많은 지표가 단일하고 해석 불가능한 점수(예: CLIPScore)나 이진 방식의 통과/실패 판정을 제공하며, 구체적인 구성적 실패(예: 객체 누락, 속성 결합 오류 또는 공간적 오류)를 지적하지 못한다.
3. 확장성 및 주관성: 인간 평가는 비용이 많이 들고 표준화하기 어려우며, FID나 IS와 같은 자동화된 지표는 미세한 구성적 오류를 포착하는 데 실패한다.

방법론: SANEval 프레임워크

저자들은 확장 가능하고 신뢰할 수 있으며 해석 가능한 평가를 위해 설계된 오픈 보카불러리(open-vocabulary) 기반의 구성적 벤치마크인 SANEval(Spatial, Attribute, and Numeracy Evaluation)을 소개한다. 이 프레임워크는 두 개의 핵심 기술 모듈과 세 개의 평가 축으로 구성된 모듈형 파이프라인으로 이루어져 있다.

핵심 모듈

1. 프롬프트 이해 모듈 (Prompt Understanding Module):

   • 특정 시스템 프롬프트에 의해 유도되는 대규모 언어 모델(LLM)을 활용하여 자연어 입력을 파싱한다.
   • 다음과 같은 구조화된 표현을 추출한다:
     • 객체(Objects): 고유한 엔티티 목록.
     • 속성(Attributes): 특정 객체에 매핑된 정보(색상, 모양, 질감).
     • 공간 관계(Spatial Relations): <object_1, relation, object_2> 형태의 삼중항(triplet)으로 표현.
     • 수량(Numeracy): 각 객체의 예상 개수.
   • 문법적 변형 및 복잡한 문장 구조에 대해 견고하도록 설계되었다.

2. 강화된 객체 탐지(OD) 모듈 (Enhanced Object Detection Module):

   • **LLM 기반의 유의어 확장(LLM-driven synonym expansion)**을 통합하여 전통적인 탐지기의 어휘 제한 문제를 해결한다(특히 YOLO-E와 같은 Open-World Detector 활용).
   • 프로세스:
     • LLM은 예상되는 객체 이름을 일련의 유의어 및 관련 용어 세트로 확장한다 (예: "albatross" $\rightarrow$ {albatross, seabird, large bird}).
     • YOLO-E는 생성된 이미지에서 객체를 탐지한다.
     • 탐지된 레이블을 확장된 유의어 세트와 정렬하여, 탐지된 결과가 프롬프트에서 의도한 객체와 일치하도록 매핑한다.
   • 이 하이브리드 접근 방식은 시각-언어 모델(VLM)의 추론 유연성과 객체 탐지(OD)의 구조적 해석 가능성을 모두 활용한다.

평가 축 (Evaluation Axes)

이 프레임워크는 세 가지 별개의 구성적 차원을 평가한다:

1. 속성 결합 (Attribute Binding):

   • 프로세스: 탐지된 객체를 크롭(crop)하여 비전 언어 모델(VLM)에 전달하고, 이를 "판사"로서 특정 속성을 식별하게 한다 (예: "벤치의 색상은 무엇인가?").
   • 점수 산정: LLM이 VLM의 예측된 속성을 정답(ground truth)과 비교하여, 부분 점수 허용(예: "turquoise" vs "blue")을 위해 연속적인 유사도 점수(0.0 ~ 1.0)를 부여한다.
   • 출력: 누락되거나 잘못 결합된 속성을 식별하는 구조화된 피드백을 생성한다.

2. 공간 관계 (Spatial Relationships):

   • 프로세스: 강화된 OD 모듈의 바운딩 박스(bounding boxes)와 프롬프트 이해 모듈의 공간 삼중항을 사용한다.
   • 점수 산정: 기하학적 평가 함수(예: 객체 A의 중심점이 객체 B의 왼쪽에 있는지 확인)를 적용하여 준수 점수를 계산한다.
   • 출력: "강아지 오른쪽에 고양이가 있어야 함: 객체 누락: 고양이"와 같이 명시적인 오류를 보고한다.

3. 수량 (Numeracy):

   • 프로세스: 탐지된 인스턴스의 개수를 프롬프트에서 추출된 예상 개수와 비교한다.
   • 점수 산정: 정확히 일치하면 1.0, 존재하지만 개수가 틀리면 0.5, 누락되면 0.0을 부여한다.
   • 출력: 과잉 생성 또는 과소 생성을 보고한다 (예: "두 개의 추가적인 여행 가방이 탐지됨").

주요 기여

1. SANEval 벤치마크 스위트: 공간, 속성, 수량 준수를 다루며 오픈 보카불러리 능력을 갖춘 T2I 모델을 위한 종합적인 평가 프레임워크.
2. 오픈 소스 데이터셋: 알고리즘 기반의 SANEval-Simple (약 5,000개 프롬프트)과 인간이 생성한 복잡한 프롬프트 기반의 SANEval-Hard (250개)를 생성된 이미지 및 진단적 일치 레이블과 함께 공개한다.
3. 플러그 앤 플레이 파이프라인: 평가를 별도의 축으로 분리하여 정량적 점수와 구조화되고 해석 가능한 진단 피드백을 모두 제공하는 확장 가능한 평가 파이프라인.
4. 강건성 검증: 프레임워크가 하위 LLM "판사"의 선택(Gemini Flash 2.5를 Llama-4로 교체하여 테스트)에 대해 강건하며, 유의어 확장 모듈이 희귀 객체 탐지에 필수적임을 입증하였다.

결과 및 분석

저자들은 SANEval 프레임워크를 사용하여 6개의 최첨단 T2I 모델(Imagen 3.0/4.0/4.0 Ultra, Nano Banana, Seedream 3.0, GPT Image 1)을 평가하였다.

• 성능 트렌드: 모든 카테고리에서 압도적인 단일 모델은 존재하지 않는다. Imagen 4.0 Ultra는 수량 및 미세한 결합(모양/질감)에서 탁월한 성과를 보이며 가장 높은 전체 평균 점수를 기록했다. Seedream 3.0은 공간 추론과 색상 결합에서 우수한 성능을 보였다.
• 복잡도 민감도: 프롬프트 복잡도(객체 수)가 증가함에 따라 성능이 일관되게 저하된다. **모양 결합(Shape binding)**이 가장 취약한 지표로 식별된 반면, **색상 결합(Color binding)**은 가장 견고한 지표로 나타났다. 예를 들어, Imagen 3.0의 모양 정확도는 단일 객체 프롬프트에서의 ~0.31에서 객체가 10개 이상인 프롬프트에서는 ~0.06으로 급락했다.
• 기존 벤치마크와의 비교: **CompBench++**와의 Spearman 순위 상관관계 분석 결과, 공간 및 수량 작업에서 통계적으로 유의미한 차이(p-value 종종 < $10^{-20}$)가 발견되었다. 이는 SANEval이 기존 방법들이 놓친 실패를 포착하는 보완적이고 비중복적인 평가 관점을 제공함을 나타낸다.
• 절제 연구 (Ablation Study): LLM 기반 유의어 확장 모듈을 제거했을 때 상당한 성능 저하(예: 공간 점수의 상대적 75.69% 하락)와 탐지된 고유 객체 수의 유의미한 감소가 발생하였으며, 이는 오픈 보카불러리 처리의 필요성을 입증한다.

의의 및 주장

본 논문은 SANEval이 고정된 어휘를 넘어 피드백 기반의 오픈 월드 벤치마킹으로 나아감으로써 T2I 평가의 결정적인 간극을 메운다고 주장한다.

• 진단적 유용성: 불투명한 점수만을 제공하는 이전 벤치마크와 달리, SANEval은 구체적인 누락된 객체나 잘못된 속성 결합을 식별하는 등 실행 가능하고 해석 가능한 피드백을 제공하며, 이는 모델의 동작을 진단하는 데 필수적이다.
• 개선을 위한 토대: 저자들은 이 프레임워크가 평가를 일종의 감독(supervision) 형태로 변화시켜, 향후 모델 개선 및 AI 피드백 기반 강화 학습(RLAIF)을 가이드할 수 있다고 상정한다.
• 겸허한 태도: 저자들은 SANEval이 기존 방법들을 개선했지만, 언어 기반 사전 지식(LLM/VLM)에 의존하므로 내재된 편향을 반영할 수 있음을 인정한다. 그들은 본 연구가 새로운 생성 능력을 추가하기 위한 것이 아니라 평가와 분석을 위한 것이며, 생성 시스템에 대한 더 투명하고 신중한 평가를 장려하는 것을 목표로 함을 강조한다.