1. 문제 정의 (Problem)

지식 집약적 시각 질문 답변 (Knowledge-Intensive VQA) 은 이미지 내용뿐만 아니라 외부 지식 (External Knowledge) 을 요구하는 복잡한 작업입니다. 기존 멀티모달 검색 증강 생성 (RAG) 방식은 주로 **'검색 - 읽기 (Retrieve-then-Read)'**라는 단일 회귀 (Single-pass) 프레임워크를 따릅니다.

이러한 기존 접근법의 주요 한계점은 다음과 같습니다:

• 불충분한 지식 획득: 초기 검색 단계에서 필요한 모든 지식을 확보하지 못하거나, 오해의 소지가 있는 정보 (Distractors) 를 포함할 수 있습니다.
• 오류 전파 (Error Propagation): 기존 에이전트 기반 방법들은 전체 상호작용 히스토리를 컨텍스트로 사용하여 다음 단계를 수행합니다. 이로 인해 초기 단계의 오류가 누적되어 추론 경로가 왜곡되거나 (Drift), 잘못된 방향으로 고정되는 문제가 발생합니다.
• 다중 모달 방해 요소: 텍스트와 이미지 모두에서 발생하는 방해 요소가 모델의 주의를 흐트러뜨려 추론을 방해합니다.

2. 제안 방법: PMSR (Progressive Multimodal Search and Reasoning)

저자들은 위 한계를 극복하기 위해 PMSR을 제안합니다. 이는 비구조화된 히스토리 대신 **구조화된 추론 궤적 (Structured Reasoning Trajectory)**을 점진적으로 구축하여 지식 획득과 통합을 강화하는 프레임워크입니다.

핵심 메커니즘

1. 이중 범위 쿼리 (Dual-scope Querying):

   • 각 반복 단계에서 두 가지 유형의 쿼리를 생성하여 이질적인 지식 베이스 (Textual KB, Multimodal KB) 에서 지식을 검색합니다.
   • Record-level Query: 최신 추론 기록 (Latest Reasoning Record) 에 기반하여 현재 추론 상태와 직접적으로 관련된 지식을 정제합니다.
   • Trajectory-level Query: 전체 추론 궤적 (Accumulated Trajectory) 을 분석하여 해결되지 않은 간극 (Gaps) 이나 모순을 파악하고 더 넓은 맥락을 검색합니다.

2. 기록 격리 업데이트 (Record-isolated Updates):

   • 기존 에이전트 방식과 달리, 각 반복 단계에서 새롭게 검색된 증거 (Evidence) 만을 사용하여 새로운 추론 기록 (Reasoning Record) 을 생성합니다.
   • 이전 기록을 직접 컨텍스트로 사용하지 않고, 생성된 새로운 기록을 궤적에 추가 (Append) 합니다. 이는 초기 오류가 후속 단계로 전파되는 것을 방지하고, 오류 수정 (Correction) 을 용이하게 합니다.

3. 구성적 추론 (Compositional Reasoning):

   • 다양한 소스에서 검색된 이질적인 증거 (텍스트, 이미지 - 텍스트 쌍) 를 통합하여 간결하고 일관된 추론 기록으로 요약합니다.

4. 적응형 종료 (Adaptive Termination):

   • 정보 포화 (Information Saturation) 를 기준으로 반복을 중단합니다. 새로 생성된 쿼리와 이전 쿼리의 유사도가 임계값을 초과하면, 추가 검색이 불필요하다고 판단하여 효율성을 높입니다.

3. 주요 기여 (Key Contributions)

• 새로운 프레임워크 제안: 지식 집약적 VQA 를 위해 점진적이고 구조화된 추론 궤적을 구축하는 PMSR 프레임워크를 처음 제안했습니다.
• 오류 수정 메커니즘: 초기 검색 실패를 후속 단계에서 수정할 수 있도록 설계되어, 기존 방법들보다 안정적인 추론 경로를 제공합니다.
• 이중 범위 쿼리 전략: 국소적 정제 (Record-level) 와 전역적 반성 (Trajectory-level) 을 분리하여 검색의 정밀도와 범위를 동시에 최적화합니다.
• 광범위한 실험 검증: 6 개의 다양한 벤치마크 (Encyclopedic-VQA, InfoSeek, MMSearch, LiveVQA, FVQA, OK-VQA) 에서 기존 SOTA 모델들을 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

저자들은 6 개의 벤치마크에서 PMSR 의 성능을 평가했으며, 주요 결과는 다음과 같습니다:

• 검색 회수율 (Retrieval Recall) 향상:
  • InfoSeek: 4B 모델 기준 누적 회수율 87.4% (기존 최강자 ReflectiVA 의 86.4% 상회).
  • E-VQA: 4B 모델 기준 64.3% (OMGM† 대비 5.6%p 향상).
  • OK-VQA: 지식 유형과 질문 형식이 다른 환경에서도 92.1% (4B) ~ 97.1% (8B) 의 높은 회수율을 기록하여 강력한 일반화 능력을 입증했습니다.
• 정답률 (Answer Accuracy) 향상:
  • E-VQA: Gemini-2.5-Flash 를 추론 궤적 생성기로 사용할 때 59.9% 의 정확도를 달성하여 이전 최강 기록을 8.7%p 상회했습니다.
  • 검색 지향 벤치마크: LiveVQA, FVQA 등에서 기존 에이전트 기반 모델 (OmniSearch, MMSearch-R1 등) 보다 높은 정확도를 보였습니다.
• 추론 궤적 분석:
  • PMSR 은 초기 오류를 수정하는 'Correction' 사례가 많고, 오류가 계속 누적되는 'Persistent-Fail' 사례가 기존 에이전트 (WebWatcher 등) 에 비해 현저히 낮았습니다. 이는 제안된 방법이 추론의 안정성을 크게 높였음을 의미합니다.

5. 의의 및 결론 (Significance)

이 논문은 지식 집약적 VQA 분야에서 단순한 검색 - 읽기 패러다임을 넘어, 점진적이고 자기 수정적인 추론 과정의 중요성을 강조합니다.

• 기술적 의의: 비구조화된 히스토리 의존을 탈피하고, '기록 (Record)' 단위로 추론 상태를 압축하여 관리함으로써 오류 전파를 효과적으로 제어하는 새로운 아키텍처를 제시했습니다.
• 실용적 가치: 실시간 정보 검색 (LiveVQA) 이나 복잡한 사실 기반 추론 (FVQA, E-VQA) 등 다양한 시나리오에서 높은 성능을 발휘하여, 실제 멀티모달 에이전트 시스템의 신뢰성을 높이는 데 기여합니다.
• 미래 방향: PMSR 은 추론 능력과 검색 전략의 결합을 통해 모델이 외부 지식을 더 효과적으로 활용하고, 초기 실수를 교정할 수 있는 능력을 갖추게 함으로써 차세대 멀티모달 RAG 시스템의 표준을 제시합니다.

요약하자면, PMSR 은 이중 범위 쿼리와 구조화된 추론 기록을 통해 검색의 정확성을 높이고 추론의 오류를 수정함으로써, 복잡한 지식 기반 시각 질문 답변 작업에서 새로운 성능 기준 (SOTA) 을 설정한 연구입니다.