QA-Dragon: Query-Aware Dynamic RAG System for Knowledge-Intensive Visual Question Answering

이 논문은 복잡한 시각적 질문 답변 (VQA) 태스크에서 기존 RAG 방법의 한계를 극복하기 위해 도메인 및 검색 라우터를 통해 텍스트와 이미지를 동적으로 결합한 'QA-Dragon' 시스템을 제안하고, KDD Cup 2025 에서 기존 모델 대비 정확도와 지식 오버랩 점수를 크게 향상시킨 결과를 제시합니다.

핵심

🐉 "QA-드래곤": 그림과 지식을 하나로 묶는 똑똑한 비서

이 논문은 **"QA-드래곤 (QA-Dragon)"**이라는 새로운 시스템을 소개합니다. 이 시스템은 우리가 사진이나 그림을 보며 질문을 할 때, 인공지능 (AI) 이 헛소리를 하지 않고 정확한 답을 찾아주도록 도와주는 기술입니다.

상상해 보세요. AI 가 마치 현명한 비서처럼 행동한다고요. 이 비서는 단순히 책만 읽거나, 단순히 그림만 보는 게 아니라, 질문의 성격을 파악하고 가장 적절한 방법을 찾아 답을 찾아냅니다.

---

🎯 왜 이 시스템이 필요할까요? (문제 상황)

기존의 AI 비서들은 두 가지 큰 실수를 자주 했습니다.

1. 망상 (Hallucination): 모르는 것을 아는 척하며 엉뚱한 소리를 지어냈습니다. (예: "이 차는 1990 년에 출시되었습니다"라고 말했는데, 사실은 2024 년 모델이었음)
2. 단편적인 지식: 글로 된 정보만 찾거나, 이미지 정보만 따로 찾아서 복잡한 질문에는 답을 못 했습니다. (예: "이 차의 엔진은 어떤 기술로 만들어졌고, 가격은 얼마인가요?"라고 물으면, 차 사진만 보고는 엔진 기술은 모르고, 인터넷만 검색하면 차 사진의 맥락을 잃어버림)

🐉 QA-드래곤은 어떻게 해결할까요? (해결책)

QA-드래곤은 질문 (Query) 을 잘 이해하고, 상황에 따라 동적으로 움직이는 (Dynamic) 시스템입니다. 마치 명품 레스토랑의 주방장처럼 생각하면 쉽습니다.

1. 메뉴판 분류기 (도메인 라우터)

손님이 들어오면, 주방장은 "이 손님은 채식 메뉴를 원할까? 아니면 고기 메뉴를 원할까?"를 먼저 파악합니다.

• 비유: 질문이 '자동차'에 관한 건지, '음식'에 관한 건지, '동물'에 관한 건지 먼저 분류합니다.
• 효과: 각 분야에 맞는 전문 지식을 꺼내 쓸 수 있게 됩니다.

2. 지시판 (검색 라우터)

손님의 주문이 복잡해 보이면, 주방장은 "이건 바로 요리할 수 있는 재료인가? 아니면 추가 재료를 사러 가야 하는가?"를 결정합니다.

• 직접 출력 (Direct Output): 사진만 봐도 답이 명확하면 (예: "이 우산에 뭐라고 쓰여 있어?"), 바로 답을 줍니다.
• 검색 확인 (Search Verify): 답이 확실하지 않으면, 외부 자료를 찾아서 확인합니다.
• RAG (검색 강화 생성): 답을 만들기 위해 아예 새로운 정보를 찾아와서 조합합니다.

3. 도구 선택기 (툴 라우터)

재료를 사러 갈 때, "사진을 찍어갈까? 아니면 글자를 검색할까?"를 결정합니다.

• 이미지 검색: "이 차가 어떤 모델인지 모르겠어?" → 비슷한 차 사진을 찾아서 비교합니다.
• 텍스트 검색: "이 차의 가격은 얼마야?" → 인터넷에서 가격 정보를 찾아옵니다.
• 혼합 검색: 둘 다 필요한 경우, 두 가지 방법을 모두 사용합니다.

4. 정교한 필터 (재랭킹 시스템)

찾아온 정보들이 너무 많다면, 가장 중요한 것만 골라냅니다.

• 비유: 100 개의 뉴스 기사를 읽는 대신, 질문과 가장 관련 있는 3 개의 기사만 뽑아내어 정리해 줍니다.
• 과정: 먼저 대략적으로 걸러내고 (Coarse), 다시 자세히 검토하여 (Fine) 최고의 정보만 골라냅니다.

5. 최종 검수관 (Post-Answer Verifier)

마지막으로, 비서가 쓴 답안이 사실과 맞는지, 논리가 통하는지 다시 한번 점검합니다.

• 비유: "이 답이 정말 맞을까? 내가 확신할 수 있는 근거가 있을까?"라고 스스로 질문하며, 틀릴 것 같으면 "모르겠습니다"라고 정직하게 말합니다.

---

🏆 결과는 어땠나요?

이 시스템은 KDD Cup 2025이라는 AI 대회에서 테스트되었습니다.

• 단일 정보원 (사진만): 기존 방법보다 5% 이상 더 정확하게 답했습니다.
• 복합 정보원 (사진 + 인터넷): 6% 이상 더 정확해졌습니다.
• 다중 대화 (여러 번 질문): 대화 흐름을 잘 따라가며 5% 이상 향상되었습니다.

💡 핵심 요약

QA-드래곤은 "무조건 검색하는 AI"가 아니라, **"질문을 잘 읽고, 상황에 맞는 도구를 선택하고, 찾아온 정보를 꼼꼼히 검증하는 똑똑한 비서"**입니다.

이 기술 덕분에 우리는 AI 에게 복잡한 질문을 할 때, 더 신뢰할 수 있고 정확한 답변을 받을 수 있게 되었습니다. 마치 현명한 친구가 옆에 있어, 모르는 것은 찾아주고, 헷갈리는 것은 정리해 주는 것과 같습니다.

기술 요약

1. 문제 정의 (Problem)

멀티모달 대규모 언어 모델 (MLLM) 은 시각 - 언어 태스크에서 뛰어난 성능을 보이지만, 지식 집약적 (Knowledge-Intensive) 인 질문이나 **다단계 추론 (Multi-hop Reasoning)**이 필요한 경우 환각 (Hallucination) 이나 부정확한 답변을 생성하는 한계가 있습니다. 기존 검색 증강 생성 (RAG) 방식은 텍스트나 이미지를 단독으로 검색하는 경향이 있어, 복잡한 쿼리를 처리하거나 최신 사실적 지식을 반영하는 데 한계가 있었습니다. 특히, 외부 지식의 부족과 저빈도 사실의 기억 어려움으로 인해 MLLM 의 신뢰성이 떨어지는 문제가 발생했습니다.

2. 제안 방법론: QA-Dragon (Methodology)

저자들은 이러한 한계를 극복하기 위해 **쿼리 인식형 동적 RAG 시스템 (QA-Dragon)**을 제안했습니다. 이 시스템은 도메인별 추론, 적응형 검색, 신뢰성 검증을 통합하여 실시간 멀티모달 VQA 태스크에 최적화되어 있습니다.

핵심 구성 요소 및 프로세스:

1. Pre-Answer Module (사전 답변 모듈):

   • Domain Router (도메인 라우터): 입력된 이미지와 텍스트 쿼리의 의미적 도메인 (예: 차량, 음식, 동물 등) 을 BLIP-2 를 통해 분류합니다. 이를 통해 도메인별 특화 추론 전략을 적용합니다.
   • D-CoT (Domain-specific Chain-of-Thought): 도메인별 Few-shot 예시를 기반으로 모델이 이미지와 쿼리를 분석하여 초기 추론 경로와 임시 답변을 생성합니다. 이 과정에서 모델이 무엇을 알고 무엇을 모르는지 (불확실성) 를 명시적으로 파악합니다.

2. Search Router (검색 라우터):

   • D-CoT 의 추론 결과와 임시 답변을 분석하여 쿼리를 처리할 3 가지 실행 경로 중 하나를 동적으로 선택합니다.
     • Direct Output: 이미지만으로 답변이 명확한 경우 (예: OCR, 단순 계산).
     • Search Verify: 답변이 불확실하여 외부 증거로 검증이 필요한 경우.
     • RAG-Augment: 이미지에 없는 외부 지식이 필요한 경우 (검색 및 생성).

3. Tool Router (툴 라우터):

   • 검색이 필요한 경우, 이미지 검색 에이전트와 텍스트 검색 에이전트 중 어떤 도구를 사용할지 결정합니다.
     • 객체 식별이 필요한 경우: 이미지 검색 (시각적 유사성 기반).
     • 속성 정보 (가격, 스펙 등) 가 필요한 경우: 텍스트 검색 (웹 검색).

4. 검색 에이전트 및 재순위화 (Retrieval & Reranking):

   • 이미지/텍스트 검색 에이전트: DINO 를 활용한 객체 분할 (Segmentation) 과 질의 분해 (Query Splitting) 를 통해 정밀한 검색을 수행합니다.
   • Coarse-to-Fine Multimodal Reranker: 검색된 텍스트와 이미지 증거를 2 단계 (거친 단계 -> 정밀한 단계) 로 재순위화하여 가장 관련성 높은 정보를 선별합니다. Q-Former 와 LLM 기반 랭커를 결합하여 노이즈를 제거합니다.

5. Post-Answer Module (사후 답변 모듈):

   • 선별된 증거를 기반으로 최종 답변을 생성하고, 이중 검증 (Dual-Verification) 메커니즘 (토큰 확률 기반 화이트박스 검증 + MLLM 기반 논리 검증) 을 통해 환각을 방지하고 답변의 신뢰성을 확보합니다.

3. 주요 기여 (Key Contributions)

• 동적 하이브리드 검색 전략: 텍스트와 이미지를 분리하여 검색하는 기존 방식과 달리, 쿼리의 의도와 도메인을 실시간으로 분석하여 최적의 검색 전략 (이미지, 텍스트, 또는 둘 다) 을 동적으로 선택하는 시스템을 처음 제안했습니다.
• 도메인 인식형 추론 (Domain-Aware Reasoning): 다양한 도메인에 특화된 프롬프트와 추론 경로를 도입하여 복잡한 시각적 질문의 이해도를 높였습니다.
• 신뢰성 있는 답변 생성: 초기 답변 생성, 동적 검색, 증거 재순위화, 이중 검증을 거치는 전체 파이프라인을 통해 환각을 최소화하고 사실 기반 (Grounded) 답변을 보장합니다.
• KDD Cup 2025 경쟁 성과: Meta CRAG-MM 챌린지에서 단일 소스, 다중 소스, 다중 턱 (Multi-turn) 태스크 모두에서 기존 베이스라인을 크게 상회하는 성능을 입증했습니다.

4. 실험 결과 (Results)

Meta CRAG-MM Challenge (KDD Cup 2025) 에서 QA-Dragon 은 다음과 같은 성과를 거두었습니다.

• 성능 향상:
  • 단일 소스 (Single-source): 정확도 5.06% 향상.
  • 다중 소스 (Multi-source): 정확도 6.35% 향상.
  • 다중 턱 (Multi-turn): 정확도 5.03% 향상.
  • 지식 중첩 점수 (Knowledge Overlap Score) 역시 모든 태스크에서 기존 모델 대비 크게 개선되었습니다.
• 성분 분석 (Ablation Study):
  • Domain Router와 Tool Router를 제거할 경우 정확도가 유의미하게 감소하여, 도메인 분류와 검색 도구 선택의 중요성을 입증했습니다.
  • **Query Splitting (질문 분해)**과 2-stage Reranking도 복잡한 쿼리 처리와 정확도 향상에 필수적인 요소로 확인되었습니다.
• 효율성: 시스템은 10 초 이내의 턴별 지연 시간 제한을 준수하면서도 높은 정확도를 유지했습니다.

5. 의의 및 결론 (Significance)

QA-Dragon 은 지식 집약적 멀티모달 VQA 분야에서 검색 전략의 동적 적응성과 신뢰성 있는 추론의 중요성을 강조합니다. 이 연구는 단순한 검색 - 생성 파이프라인을 넘어, 쿼리의 복잡도와 도메인을 이해하고 이에 맞춰 검색 경로와 검증 단계를 유연하게 조정하는 지능형 RAG 시스템의 새로운 패러다임을 제시합니다. 특히, 웨어러블 기기나 실시간 환경에서의 정확한 정보 제공이 필요한 응용 분야 (예: 스마트 안경 기반 VQA) 에 큰 기여를 할 것으로 기대됩니다.

이 시스템의 소스 코드는 GitHub 에서 공개되어 있으며, 향후 멀티모달 RAG 연구의 중요한 벤치마크가 될 것으로 예상됩니다.