CoGR-MoE: Concept-Guided Expert Routing with Consistent Selection and Flexible Reasoning for Visual Question Answering

1. 연구 배경 및 문제 정의 (Problem)

시각적 질문 응답 (VQA) 은 이미지와 텍스트 정보를 결합하여 여러 정답 후보 중 올바른 답을 선택하는 다중 모달 추론 작업입니다. 최근에는 혼합 전문가 (Mixture-of-Experts, MoE) 아키텍처가 다양한 시각/텍스트 패턴을 전문적으로 처리하기 위해 도입되었습니다. 그러나 기존 MoE 기반 VQA 모델은 다음과 같은 두 가지 상충되는 문제를 겪고 있습니다.

• 라우팅 불안정성 (Routing Instability): 동일한 질문 유형이라도 표현 방식이 다르면 서로 다른 전문가 (Expert) 가 선택되어 일관성이 떨어집니다.
• 라우팅의 과도한 고정 (Over-stability): 일관성을 위해 라우팅을 너무 고정하면, 특정 질문 유형에 대해 항상 동일한 전문가 집합이 활성화됩니다. 이로 인해 옵션 (Answer Option) 수준에서의 미세한 차별화 (Discrimination) 가 어려워지고, 각 정답 후보가 요구하는 고유한 증거를 포착하지 못해 추론 오류가 발생합니다.

즉, 기존 방법은 "어떤 질문을 처리할지 (Routing)"와 "각 정답 후보를 어떻게 구분할지 (Option-level Reasoning)" 사이의 균형을 맞추지 못했습니다.

2. 제안 방법론: CoGR-MoE (Methodology)

저자들은 개념 기반 라우팅 (Concept-Guided Routing) 프레임워크인 CoGR-MoE를 제안하여 라우팅의 일관성과 유연한 전문가 활용 사이의 균형을 달성합니다. 주요 구성 요소는 다음과 같습니다.

2.1 시맨틱 단서 생성 (Semantic Cues Generation)

• 대규모 언어 모델 (LLM) 을 사용하여 각 정답 후보 (옵션) 에 대해 긍정적 단서 (Positive Cues, 정답일 때 이미지에 있어야 할 시각적 특징) 와 부정적 단서 (Negative Cues, 정답일 때 없어야 할 특징) 를 생성합니다.
• 이미지와 단서 간의 일치도 (Agreement) 와 단서 변이 (Variance) 를 계산하여 불확실성 (Uncertainty) 점수를 산출합니다. 이는 신뢰할 수 없는 단서를 필터링하고 학습 가중치 조절에 활용됩니다.

2.2 개념 기반 전문가 라우팅 (Concept-Guided Expert Routing)

• 정답의 시맨틱 방향 (Semantic Direction, $s_a$): 정답의 긍정적/부정적 단서 벡터 차이를 통해 정답을 지지하는 시맨틱 방향을 정의합니다.
• 교사 - 학생 라우팅 (Teacher-Student Routing):
  • Router T (Teacher): 정답의 시맨틱 방향 ($s_a$) 을 게이트 로짓 (Gating Logits) 에 주입하여, 정답과 관련된 전문가 집합을 일관되게 선택하도록 유도합니다.
  • Router S (Student): 추론 시에는 단서 없이 작동하지만, 학습 단계에서 Router T 의 라우팅 분포를 KL-발산 (KL-divergence) 손실 함수를 통해 증류 (Distillation) 받아, 추론 시에도 정답 관련 방향으로 전문가를 선택하도록 학습됩니다.

2.3 옵션 인식 전문가 재가중 (Option-Aware Expert Reweighting)

• Top-K 개의 전문가가 선택된 후, 각 옵션별 시맨틱 신호 ($s_j$) 를 사용하여 해당 전문가들의 기여도를 동적으로 재가중합니다.
• 이는 모든 옵션이 동일한 전문가 집합을 공유하면서도, 각 옵션의 고유한 특징에 따라 전문가 출력의 가중치를 다르게 조정하여 옵션 수준의 차별화 (Option-level Discrimination) 를 가능하게 합니다.

2.4 학습 목표 (Training Objective)

• 주 손실 ($L_{main}$): 옵션별 불확실성에 기반한 가중 크로스 엔트로피 손실.
• 대조 손실 ($L_{contrast}$): 정답 옵션의 표현을 긍정적 단서와 정렬하고, 오답 옵션의 표현을 부정적 단서와 멀어지도록 유도하여 표현 공간의 분리를 강화합니다.
• 증류 손실 ($L_{distill}$): Router S 가 Router T 의 일관된 라우팅 행동을 따르도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. CoGR-MoE 프레임워크 제안: 정답의 시맨틱 특징을 라우팅 과정에 주입하여 전문가 선택의 일관성을 확보하면서도, 옵션별 단서를 통해 유연한 추론을 가능하게 하는 새로운 MoE 구조를 제안했습니다.
2. 이중 메커니즘 (Dual Mechanism):
   • 라우팅 단계: 정답의 개념적 방향을 통해 전문가 선택의 안정성 확보.
   • 재가중 단계: 옵션별 단서를 통해 공유된 전문가 집합 내에서 각 후보의 차별화된 표현 생성.
3. 성능 및 해석 가능성: 다양한 VQA 벤치마크에서 기존 MoE 모델 대비 우수한 성능을 달성했으며, 어떤 전문가가 어떤 작업에 활성화되는지 더 명확하게 해석할 수 있게 되었습니다.

4. 실험 결과 (Results)

• 벤치마크: VMCBench (VQAv2, GQA, VizWiz, ScienceQA 등 포함) 와 MRAG-Bench 에서 평가되었습니다.
• 성능:
  • MOE-LLaVA 백본 기준: 전체 정확도 63.25% (기존 최상위 모델 대비 향상).
  • Qwen3-VL-A3B-30B 백본 기준: 전체 정확도 68.96% 달성.
  • 특히 Perspective (시각적 관점) 및 Transformative (공간 변환) 과 같은 복잡한 추론 작업에서 큰 성능 향상을 보였습니다.
• Ablation Study:
  • 정답 시맨틱 방향 주입 ($s_a$) 과 증류 ($L_{distill}$) 를 제거할 때 성능이 가장 크게 저하됨.
  • 옵션별 재가중 ($s_j$) 은 옵션 간 차별화에 핵심적인 역할을 함.
  • 전문가 수 ($n=8$) 와 활성화 수 ($K=2$) 가 최적의 성능을 보임.
• 라우팅 분석: CoGR-MoE 는 기존 모델보다 라우팅이 더 날카롭고 (Sharpness), 동일한 의미 범주 내에서 일관된 전문가 선택을 보여줍니다 (Variance 감소).

5. 의의 및 한계 (Significance & Limitations)

• 의의: VQA 에서 "무엇을 볼 것인가 (Routing)"와 "어떻게 비교할 것인가 (Reasoning)" 사이의 균형을 성공적으로 해결했습니다. 특히 라우팅의 일관성을 유지하면서도 옵션별 미세한 차이를 포착하는 유연한 메커니즘을 제시하여, 다중 모달 추론의 정확도를 높이는 새로운 패러다임을 제시했습니다.
• 한계:
  • 학습 시 LLM 을 사용한 시맨틱 단서 생성으로 인한 추가 계산 비용 및 외부 모델 의존성.
  • LLM 의 할루시네이션 (Hallucination) 이나 편향이 단서 생성에 영향을 줄 수 있음.
  • 현재는 객관식 VQA 에 국한되어 있으며, 개방형 생성이나 다른 다중 모달 작업으로의 확장성은 향후 연구 과제로 남음.

결론

CoGR-MoE 는 MoE 아키텍처의 라우팅 불안정성과 유연성 부족이라는 상충되는 문제를 해결하기 위해, 정답의 개념적 방향을 라우팅에 주입하고 옵션별 단서로 전문가 출력을 재조정하는 혁신적인 접근법을 제시했습니다. 이를 통해 다양한 VQA 작업에서 높은 정확도와 해석 가능성을 동시에 달성했습니다.