Discovering Failure Modes in Vision-Language Models using RL

1. 문제 정의 (Problem)

기존의 VLM 은 멀티모달 벤치마크에서 뛰어난 성능을 보이지만, 인간이 쉽게 인식하는 단순한 시각적 개념 (예: 객체 카운팅, 공간 추론, 시점 이해 등) 에서는 종종 실수를 합니다.

• 기존 접근법의 한계:
  • 수동 비용: 이전 연구들은 인간이 직접 실패 모드를 식별하고 벤치마크를 설계해야 했으므로, 시간과 비용이 많이 들며 확장성이 떨어집니다.
  • 인지 편향: 인간의 편향으로 인해 눈에 띄는 (salient) 객체 위주로만 분석되어, 미묘한 세부 사항이나 특정 모델의 고유한 취약점이 간과될 수 있습니다.
  • 정적 생성: 최근의 LLM 기반 질문 생성 방식은 '오픈 - 루프 (open-loop)' 방식으로, 생성된 질문이 대상 모델의 응답에 따라 적응적으로 조정되지 않습니다. 따라서 특정 모델의 고유한 실패 패턴을 포착하는 데 한계가 있습니다.

2. 방법론 (Methodology)

저자들은 **강화학습 **(RL)을 활용하여 대상 VLM 의 약점을 적응적으로 탐지하는 **질문 생성 에이전트 **(Questioner Agent)를 훈련하는 프레임워크를 제안합니다.

2.1 프레임워크 구성

시스템은 세 가지 주요 구성 요소로 이루어집니다 (그림 2 참조):

1. **Questioner **(질문 생성자) RL 에이전트 (VLM 기반). 주어진 이미지 $I$에 대해 $k$개의 질문 집합 $Q$를 생성합니다. 생성된 질문은 대상 모델의 응답을 기반으로 적응적으로 복잡해지고 세분화됩니다.
2. **Answerer **(답변 생성자) 실패 모드를 탐지하려는 대상 VLM 입니다. 훈련 내내 파라미터가 고정 (frozen) 되어 있습니다.
3. **Verifier **(검증자) 강력한 추론 능력을 가진 VLM 으로, 생성된 질문의 유효성과 답변의 정확성을 평가하여 보상 신호 (Reward Signal) 를 제공합니다.

2.2 보상 함수 (Reward Function)

Questioner 를 훈련시키기 위해 설계된 보상 함수 $R_Q$는 다음과 같은 요소들을 고려합니다:
$$R_Q = \Delta_Q \cdot V_Q \cdot (1 - C_Q) - P_Q$$

• **$C_Q$ **(정확성) 대상 VLM 이 질문에 잘못 답했을 때 (즉, 실패를 유발했을 때) 보상을 받습니다.
• **$V_Q$ **(유효성) 질문이 문법적으로 올바르고, 이미지에 기반하며, 객관적인지 확인합니다.
• **$\Delta_Q$ **(다양성) 질문의 의미적 (Semantic) 및 어휘적 (Lexical) 다양성을 장려합니다.
  • 의미적 다양성: 이전에 틀린 질문들과 의미적으로 유사하지 않도록 penalize 합니다.
  • 어휘적 다양성: 질문의 접두사 (예: "How many" vs "What is") 반복을 방지하여 다양한 질문 유형을 생성하도록 유도합니다.
• **$P_Q$ **(페널티) 유효하지 않은 질문을 생성할 때 패널티를 부과하여 훈련을 가속화합니다.

2.3 훈련 알고리즘

Questioner 는 **Group Relative Policy Optimization **(GRPO) 알고리즘을 사용하여 훈련됩니다. 이는 질문 생성의 다양성과 실패 유발 능력을 동시에 최적화합니다.

2.4 실패 모드 분류 (Taxonomy)

발견된 실패 모드를 분석하기 위해 4 단계 파이프라인을 사용합니다:

1. **기초 기술 식별 **(Primitives) 각 질문에 필요한 기본 기술 식별.
2. **토픽 모델링 **(Topic Modelling) 유사한 기술을 클러스터링.
3. **기술 추출 **(Skill Extraction) 기술 이름 표준화 및 통합/분리.
4. **메타 기술 식별 **(Meta-skill) 상위 수준의 범주 (예: 공간 추론, 객체 인식 등) 로 그룹화.

3. 주요 기여 (Key Contributions)

1. 자동화된 RL 기반 프레임워크: 인간의 개입 없이 대상 VLM 과 데이터셋에 맞춰 실패 모드를 적응적으로 발견하는 최초의 프레임워크 중 하나입니다.
2. 새로운 실패 모드 발견: 기존 방법론이 놓친 **36 가지의 새로운 실패 모드 **(예: prominence detection, threat assessment 등)를 발견했습니다.
3. 광범위한 평가: 다양한 모델 조합 (Qwen 시리즈 등) 에서 경쟁력 있는 베이스라인 (Zero-shot, SFT, Expert Iteration 등) 과 비교하여 성능을 입증했습니다.
4. 심층 분석: 보상 함수의 각 구성 요소와 하이퍼파라미터 (질문 수, 접두사 길이 등) 가 실패 발견에 미치는 영향을 체계적으로 분석 (Ablation Study) 했습니다.

4. 실험 결과 (Results)

COCO 데이터셋과 다양한 Qwen VLM 모델을 사용하여 실험을 수행했습니다.

• **실패 발견률 **(FDR, Failure Discovery Rate)
  • 제안된 RL 방법은 기존 베이스라인 (Zero-shot, SFT, ConMe 등) 보다 훨씬 높은 FDR 을 기록했습니다.
  • 특히 RL+SFT(SFT 후 RL 훈련) 조합은 약 **50.73%**의 FDR 을 달성하여, 다음으로 좋은 방법 (ConMe, 39.89%) 보다 약 10% 이상 높은 성능을 보였습니다.
• **다양성 **(Diversity)
  • **의미적 다양성 **(SD)과 **어휘적 다양성 **(LD) 모두에서 RL 기반 방법이 압도적으로 우수했습니다. 이는 에이전트가 단순한 질문 반복이 아닌, 다양한 시각적 취약점을 탐지한다는 것을 의미합니다.
  • RL 은 **131 개의 고유한 기술 **(Skills)을 탐지했으며, 이는 SFT(89 개) 보다 훨씬 많습니다.
• 질문 복잡성:
  • 훈련이 진행됨에 따라 RL 에이전트는 단순한 질문에서 복합적인 추론이 필요한 질문 (예: "기차 왼쪽에 있는 신호등과 정지 표지판 남서쪽에 있는 신호등은 무엇인가?") 으로 진화했습니다.
  • RL 은 4 개 이상의 기술을 동시에 요구하는 질문 비율이 가장 높았습니다.
• 일반화 능력:
  • 질문 생성기와 답변 생성기의 모델 크기가 다른 경우에도 (예: 3B 질문기 vs 8B 답변기) RL 은 여전히 높은 FDR 을 유지하며, 모델 크기가 커질수록 발견되는 실패 모드가 줄어들지만 여전히 다른 방법들보다 우세했습니다.
  • 일부 실패 모드 (예: 배제 추론, 해부학적 인식) 는 모델 크기와 무관하게 보편적으로 취약한 것으로 나타났습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 패러다임의 전환: 수동으로 설계된 정적 벤치마크에서, 적응형 RL 기반의 실패 발견으로의 전환을 주도합니다.
• 모델별 맞춤형 진단: 특정 모델의 고유한 약점을 자동으로 찾아내어, 모델 개발자가 더 정밀한 개선 작업을 할 수 있도록 돕습니다.
• 확장성: 인간의 편향과 피로도를 제거하고, 대규모 데이터와 다양한 모델에 대해 확장 가능하게 실패 모드를 발견할 수 있습니다.
• 미래 과제: 현재는 단일 이미지 기반이지만, 향후 대화형 (multi-turn) 또는 비디오 이해로 확장하고, 발견된 실패 모드를 모델 미세 조정 (fine-tuning) 에 활용하여 '진단 - 치료' 루프를 완성하는 것이 향후 연구 방향입니다.

이 연구는 VLM 의 인지적 맹점을 체계적으로 식별하여 더 견고하고 신뢰할 수 있는 비전 - 언어 시스템을 개발하는 데 중요한 기여를 합니다.