VG-CoT: Towards Trustworthy Visual Reasoning via Grounded Chain-of-Thought

1. 연구 배경 및 문제점 (Problem)

대규모 시각 - 언어 모델 (LVLMs) 의 발전은 이미지 전체에 대한 이해를 넘어, 이미지 내 국부적 영역 (Local Region) 에 기반한 정밀한 추론 능력을 요구하게 되었습니다. 그러나 기존 연구와 데이터셋은 다음과 같은 한계를 가지고 있습니다.

• 수동 주석의 비효율성: 국부적 영역 정보를 포함한 데이터셋은 대부분 대규모 수동 주석에 의존하여 확장성 (Scalability) 과 비용 효율성이 낮습니다.
• 시각 증거 (Visual Evidence) 와 추론의 단절: 기존 멀티모달 CoT(Chain-of-Thought) 데이터셋은 추론 과정을 설명하지만, 그 근거가 되는 구체적인 이미지 영역 (객체 또는 텍스트의 좌표) 과 명시적으로 연결되지 않습니다.
• 신뢰성 평가의 부재: 모델이 정답을 맞췄더라도, 그것이 올바른 시각적 증거를 기반으로 한 논리적 추론인지, 아니면 통계적 편향이나 할루시네이션 (Hallucination) 에 의한 것인지 구분할 수 없습니다. 즉, 정답의 정확성만 평가할 뿐, 추론 과정의 신뢰성을 검증할 수 없습니다.

2. 제안 방법론 (Methodology)

이러한 문제를 해결하기 위해 저자들은 VG-CoT (Visual Grounded Chain-of-Thought) 데이터셋과 이를 구축하는 완전 자동화 3 단계 파이프라인, 그리고 새로운 평가 벤치마크를 제안합니다.

가. VG-CoT 데이터셋 구축 파이프라인 (3-Stage Automated Pipeline)

수동 개입 없이 확장 가능하게 고품질 데이터를 생성하는 자동화 프로세스입니다.

1. Stage 1: 다중 세분화 시각 증거 추출 (Visual Evidence Extraction)
   • 최첨단 객체 탐지 모델 (YOLO) 을 사용하여 이미지 내 주요 객체의 바운딩 박스를 추출합니다.
   • OCR 모델 (PaddleOCR) 을 사용하여 이미지 내 텍스트의 위치와 내용을 추출합니다.
   • GQA 데이터셋의 경우, 기존에 제공되는 씬 그래프 (Scene Graph) 정보를 보조 증거로 활용합니다.
2. Stage 2: 시각 기반 CoT 생성 (Visually-Grounded CoT Generation)
   • GPT-4o 에 원본 이미지, 질문, 정답, 그리고 1 단계에서 추출된 시각 증거 (좌표 포함) 를 입력합니다.
   • 프롬프트를 통해 모델이 모든 논리적 추론 단계에서 추출된 시각 증거 (공간 좌표) 를 명시적으로 인용하도록 강제합니다.
   • 정답이 아닌 옵션이 왜 틀렸는지에 대한 비교 분석도 포함하도록 유도하여 추론의 신뢰성을 높입니다.
3. Stage 3: 근거 기반 정교화 (Rationale-Driven Grounding Refinement)
   • 2 단계에서 생성된 CoT 텍스트를 분석하여 언급된 핵심 객체 명사를 추출합니다.
   • 추출된 명사를 Open-set 객체 탐지 모델 (Grounding DINO) 에 입력하여, 1 단계에서 놓쳤거나 더 정교한 위치의 객체/텍스트를 다시 탐지하고 좌표를 업데이트합니다.
   • 이를 통해 추론 텍스트와 실제 이미지 좌표 간의 정렬 (Alignment) 을 최종적으로 정교화합니다.

나. 새로운 평가 벤치마크 (New Benchmark)

단순한 정답 정확도 (Answer Accuracy) 를 넘어, 추론 과정의 신뢰성을 3 가지 차원에서 종합적으로 평가합니다.

1. 추론 근거의 질 (Rationale Quality, RQ): GPT-4o 를 평가자로 활용하여 다음 4 가지 하위 지표를 1~5 점 척도로 평가합니다.
   • 시각 증거 활용도 (Visual Evidence Utilization)
   • 논리적 일관성 (Coherence)
   • 추론의 완전성 (Completeness)
   • 종합 점수 (Overall)
2. 정답 정확도 (Answer Accuracy, AA): 모델의 최종 예측이 정답과 일치하는지 여부.
3. 추론 - 정답 정렬 (Reasoning-Answer Alignment, RAA): 추론의 질과 정답의 정확도 간의 상관관계를 측정합니다.
   • 일관성 점수 (Consistency Score): "좋은 추론 + 정답" 또는 "나쁜 추론 + 오답"인 샘플의 비율.
   • 신뢰 점수 (Faithful Score): 우수한 추론 (RQ ≥ 4) 을 보인 샘플 중 정답을 맞춘 비율.

3. 주요 기여 (Key Contributions)

1. VG-CoT 데이터셋 제안: 자동화 3 단계 파이프라인을 통해 이미지 내 실제 시각 증거와 추론 과정을 명시적으로 정렬한 대규모 데이터셋을 구축했습니다.
2. 종합적 평가 벤치마크 수립: 정답 정확도뿐만 아니라 '추론 근거의 질'과 '추론 - 정답 정렬'을 측정하여 모델의 신뢰성을 다각도로 평가할 수 있는 새로운 기준을 마련했습니다.
3. LVLMs 성능 분석 및 통찰: 대표 LVLM 들 (LLaVA, Qwen2-VL 등) 을 VG-CoT 로 미세 조정 (Fine-tuning) 하여 시각 증거 활용 능력의 향상과 향후 연구 방향에 대한 통찰을 제공했습니다.

4. 실험 결과 (Results)

LLaVA-1.5, Qwen2-VL 등 4 가지 대표 LVLM 을 대상으로 한 실험 결과는 다음과 같습니다.

• 전반적 성능 향상: VG-CoT 로 미세 조정된 모든 모델이 **Rationale Quality (RQ)**와 **Answer Accuracy (AA)**에서 일관된 개선을 보였습니다.
  • 예: LLaVA-1.5-7B 의 경우 RQ 가 72.2 에서 83.4 로, AA 가 48.7 에서 62.5 로 상승했습니다.
• 작업별 효과: 일반 VQA, 관계 VQA, 장면 텍스트 (Scene-text) VQA 등 모든 작업 영역에서 추론의 논리성과 정확도가 크게 향상되었습니다. 특히 LLaVA-1.5-7B 는 일반 VQA 에서 정답률이 51.8% 에서 69.2% 로 10 점 이상 급증했습니다.
• 시각 증거 예측 정확도: 미세 조정된 모델들이 시각 증거 (바운딩 박스) 를 예측하는 정확도 (mAP) 가 향상되었으나, 특히 작고 밀집된 텍스트 영역 (Scene-text) 에서는 여전히 정밀한 공간 정렬 (Spatial Grounding) 이 어려운 과제로 남았습니다.
• 신뢰성 검증: 대부분의 모델에서 추론의 질과 정답의 정확도가 더 잘 정렬되는 경향 (Consistency Score 향상) 을 보였습니다.

5. 의의 및 결론 (Significance)

이 연구는 LVLM 이 단순히 "정답을 맞추는" 것을 넘어, "왜 그 정답이 나왔는지"에 대한 신뢰할 수 있는 시각적 근거를 제시하는 방향으로 진화해야 함을 강조합니다.

• 신뢰성 있는 추론의 기반: VG-CoT 는 모델이 할루시네이션 없이 실제 이미지 증거에 기반하여 추론하도록 훈련시키는 핵심 데이터셋을 제공합니다.
• 확장 가능한 데이터 구축: 수동 주석의 비용과 한계를 극복하고, 자동화 파이프라인을 통해 고품질의 시각 기반 CoT 데이터를 대량으로 생성할 수 있음을 입증했습니다.
• 미래 연구 방향: 추론 과정의 투명성과 신뢰성을 평가하는 새로운 벤치마크를 제시함으로써, 자율 주행, 로봇 공학, 의료 영상 분석 등 고위험 분야에서 LVLM 의 실용적 적용을 위한 기술적 토대를 마련했습니다.

결론적으로, VG-CoT 는 대규모 시각 - 언어 모델의 **신뢰성 (Trustworthiness)**을 확보하기 위한 필수적인 데이터셋이자 평가 프레임워크로서, 향후 연구의 중요한 이정표가 될 것으로 기대됩니다.