1. 문제 정의 (Problem)

대규모 시각 - 언어 모델 (LVLMs) 은 이미지 캡셔닝, 시각적 질문 응답 (VQA), 다중 모달 추론 등에서 뛰어난 성능을 보이지만, 다음과 같은 두 가지 주요 취약점으로 인해 실제 응용 분야 (의료, 원격 감시 등) 에 적용하기 어렵습니다.

• 할루시네이션 (Hallucination): 모델의 내재적 오류로 인해 이미지에 존재하지 않는 객체를 존재하는 것처럼 확신 있게 생성하거나, 객체의 속성/관계를 잘못 기술하는 현상. 이는 편향된 사전 지식이나 학습된 공발생 패턴에서 기인합니다.
• 적대적 공격 (Adversarial Attacks): 이미지에 인간의 눈으로 식별하기 어려운 미세한 교란 (perturbation) 을 가하면 모델이 완전히 잘못된 예측을 하도록 유도할 수 있습니다. 이러한 공격은 다양한 아키텍처 간에 전이 (transfer) 되어 광범위한 취약점을 노출시킵니다.
• 기존 방법의 한계: 기존의 해결책 (할루시네이션 인식 디코딩, 적대적 훈련, 사후 수정 등) 은 모델 내부 접근 권한이 필요하거나, 재학습 비용이 많이 들거나, 정적 파이프라인으로 인해 예상치 못한 실패에 적응하지 못하는 등의 문제가 있습니다.

2. 방법론 (Methodology: ORCA Framework)

저자들은 ORCA (Observe–Reason–Critique–Act) 라는 새로운 에이전트 추론 프레임워크를 제안합니다. 이는 모델의 가중치에 접근하거나 재학습 없이 추론 시간 (Inference-time) 에만 작동하며, 사전 훈련된 소형 시각 모델 (3B 파라미터 이하) 의_suite_를 활용합니다.

• 핵심 구조:

  • Observe (관찰): 사용자 쿼리를 받으면 미리 선정된 시각 도구들 (기본 LVLM, 객체 감지기, VQA 모델 등) 에게 초기 증거를 요청합니다.
  • Reason (추론): 각 모델의 응답을 개별적으로 평가하여 사용자의 질문과 일치하는지, 모순이 있는지 분석합니다.
  • Critique (비판): 여러 모델 간의 응답이 일관되지 않거나 모순이 발견되면, 에이전트는 논리적 규칙 (if-else 등) 을 적용하여 불일치를 식별합니다.
  • Act (행동): 불일치를 해결하기 위해 증거 기반 질문 (Evidential Questions) 을 생성합니다. 예를 들어, "사람이 있는지"에 대해 의견이 갈리면, "사람이 입고 있는 옷의 색은 무엇인가?"와 같은 속성 기반 질문을 생성하여 다른 모델들에게 다시 질문합니다.
  • 반복 루프: 위 과정을 최대 $K$ 번 반복하여 일관된 결론에 도달하거나, 모든 증거를 종합하여 최종 결정을 내립니다.

• 주요 특징:

  • 모델 독립성: 기본 LVLM 의 내부 가중치나 구조를 알 필요가 없으며, 텍스트 응답만 기반으로 작동합니다.
  • 다양성 활용: 다양한 아키텍처를 가진 소형 시각 모델들을 활용하여 단일 모델의 취약점이나 적대적 공격에 대한 리스크를 분산합니다.
  • 감사 가능성 (Auditability): 모든 추론 과정 (질문, 응답, 비판, 결정) 을 메모리에 기록하여 의사결정 경로를 추적 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 프레임워크 제안: 재학습 없이 추론 시간에만 작동하는 ORCA 를 통해 사전 훈련된 LVLM 의 할루시네이션을 줄이고 적대적 견고성을 향상시켰습니다.
2. 모델 내부 접근 불필요: 기존 방법들과 달리 모델 가중치 접근이나 추가 데이터 없이, 소형 시각 모델들의 피드백을 순환적으로 통합하는 구조를 제시했습니다.
3. 실증적 성과: 다양한 LVLM 과 벤치마크에서 할루시네이션 감소 및 적대적 공격 하에서도 높은 정확도를 유지함을 입증했습니다. 특히 적대적 훈련이나 방어 메커니즘 없이도 발현적 견고성 (Emergent Robustness) 을 보였습니다.

4. 실험 결과 (Results)

저자들은 POPE(할루시네이션 벤치마크), MME, AMBER(캡셔닝 벤치마크) 에서 mPLUG-Owl, MiniGPT-4, Qwen-VL-Chat 등 3 가지 LVLM 을 사용하여 실험했습니다.

• 할루시네이션 감소 (Clean Images):

  • POPE 벤치마크: ORCA 를 적용한 결과, 독립적인 LVLM 대비 정확도가 +3.64% 에서 +40.67% 까지 향상되었습니다. (예: mPLUG-Owl 의 Random Subset 에서 54.00% → 94.67%)
  • AMBER (캡셔닝): CHAIR(할루시네이션 빈도) 와 Hal(할루시네이션 포함 응답 비율) 점수가 크게 감소했습니다. (예: MiniGPT-4 의 CHAIR 는 16.30% → 8.70% 로 감소)

• 적대적 견고성 (Adversarial Robustness):

  • Adversarial Illusions 및 AttackVLM 공격 하에서 ORCA 는 평균 정확도 +20.11% 의 개선을 보였습니다.
  • 단일 모델은 공격에 취약했으나, ORCA 는 다양한 시각 모델 간의 일관성 검증을 통해 공격을 효과적으로 완화했습니다.

• 방어 기법과의 결합:

  • JPEG 압축이나 Feature Squeezing 같은 전통적인 픽셀 수준 방어 기법과 결합했을 때, ORCA 는 추가적으로 +1.20% 에서 +48.00% 의 성능 향상을 보였습니다. 이는 ORCA 가 기존 방어 기법과 호환되며 시너지 효과를 낸다는 것을 의미합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 신뢰성 있는 AI 시스템: ORCA 는 모델의 규모 (Scale) 가 아닌 상호작용 및 추론 메커니즘의 설계가 견고성의 핵심임을 보여줍니다.
• 실용성: 고위험 분야 (의료, 군사 등) 에서 모델 내부 접근이 불가능하거나 재학습이 어려운 상황에서도 즉시 적용 가능한 솔루션을 제공합니다.
• 해석 가능성: 에이전트의 추론 과정을 기록하여 의사결정의 투명성을 보장하므로, 책임 있는 AI 개발에 기여합니다.
• 한계 및 향후 과제: 현재 추론 시간이 독립적 LVLM 대비 약 33 배 느리다는 단점이 있으나, 이는 고신뢰성 요구 사항이 있는 분야에서는 수용 가능한 트레이드오프로 판단됩니다. 향후 더 빠른 모델 통합 및 효율성 개선이 필요합니다.

요약하자면, ORCA 는 단일 대형 모델의 취약점을 보완하기 위해 소형 모델들의 다양성과 반복적인 비판적 추론을 결합함으로써, 할루시네이션과 적대적 공격에 강한 차세대 시각 - 언어 시스템의 가능성을 제시한 연구입니다.