기술 요약: OmniVL-Guard Pro

문제 제기

기존의 시각 - 언어 위조 탐지 및 그라운딩 방법은 주로 폐쇄형 세계 패러다임 하에서 작동합니다. 이러한 자체 완결형 멀티모달 대규모 언어 모델 (MLLM) 은 매개변수 메모리와 정적 학습 코퍼스에만 의존합니다. 이 접근 방식은 세 가지 주요 제약으로 인해 동적이고 개방형 세계의 포렌식 시나리오에서 실질적인 한계에 직면합니다:

1. 유한한 매개변수 지식: 모델은 학습 컷오프 이후 발생한 실시간 사건을 검증하거나 외부 사실 확인이 필요한 경우를 처리할 수 없습니다.
2. 정적 인식: 픽셀 단위 위조 분할에 필요한 국소 경계, 텍스처 불연속성, 또는 미묘한 아티팩트에 대한 세밀한 검증을 수행할 능력이 부족합니다.
3. 제한된 해상도: 외부 확대 또는 자르기 도구 없이 미세한 조작을 탐지하기에는 고유한 지각 해상도가 부족합니다.

결과적으로, 현재 방법론은 실시간 사건 검증(외부 단서 필요) 과 위조 분할(세밀한 국소 검사 필요) 에 어려움을 겪습니다. 또한, 기존 접근 방식은 종종 최종 답변은 정확하지만 추론 과정이 왜곡되었거나 검증 가능한 증거 사슬이 부재한 "가성 성공 (pseudo-success)" 패턴을 보입니다.

방법론

저자들은 폐쇄형 세계 예측에서 개방형 세계, 증거 기반 추론으로 통합 포렌식을 전환하도록 설계된 도구 강화 에이전트인 OmniVL-Guard Pro를 제안합니다. 이 프레임워크는 특수화된 도구 환경과 새로운 학습 파이프라인을 통합합니다.

1. 도구 강화 환경

에이전트는 외부 지식과 세밀한 시각 데이터를 획득하기 위해 7 가지 특정 도구가 구비된 환경에서 작동합니다:

• 실시간 사건 검색: 시간 민감성 사실을 웹에서 조회합니다.
• 국소 자르기 및 확대: 상세 검사를 위해 특정 영역을 추출하고 확대합니다.
• 에지 이상 감지: 의심스러운 영역을 식별하기 위해 국소 에지 밀도, 라플라시안 에너지, 그리고 이웃 불일치를 스캔합니다.
• 얼굴 탐지: 초상화 검사를 위해 얼굴 경계 상자를 식별합니다.
• 비디오 프레임 추출: 이미지 단위 분석을 위해 특정 시간 구간에서 프레임을 추출합니다.
• SAM3 분할: 프롬프트 (상자, 점) 를 기반으로 픽셀 단위 마스크를 생성합니다.

2. 데이터 구축: 트리 구조 자기 진화 도구 궤적 생성

에이전트를 학습시키기 위해 저자들은 Full-Spectrum Tool Reasoning (FSTR) 데이터셋을 구축합니다. 그들은 자유 탐색이 낮은 품질의 데이터를 산출하고, 정답 주입이 사후 편향을 초래하는 "효율성 - 편향 딜레마"를 4 단계 프로세스를 통해 해결합니다:

• 시드 가이드: MLLM 전문가 풀 (탐색자 및 가이드) 을 사용하여 트리 구조 검색을 수행합니다. 가이드는 정답에 대해 단계를 검증하여 무효한 가지를 제거합니다.
• 가이드 없는 자기 진화 확장: 정책이 답변 인지 가이드 없이 도구 환경을 자율적으로 탐색하여 반복적 롤아웃을 통해 데이터셋을 확장합니다.
• 약한 힌트 기반 하드 궤적 합성: 자기 진화에 실패하는 롱테일 하드 샘플의 경우, 가이드가 정답을 밝히지 않고 (대략적인 영역 또는 키워드 등) 약한 힌트를 제공하여 탐색자를 안내합니다. 그런 다음 **정제기 (Refiner)**가 명시적 힌트 흔적을 제거하도록 추론을 재작성하여 최종 궤적이 자율적으로 보이도록 합니다.
• 데이터셋 구성: 결과적으로 생성된 FSTR 데이터셋에는 콜드 스타트 감독 미세 조정 (SFT) 을 위한 $FSTR_{sft}$(69,323 개 샘플) 과 강화 학습 (RL) 을 위한 $FSTR_{rl}$(81,087 개 샘플) 이 포함됩니다.

3. 학습 전략: 체커 기반 에이전트 강화 학습 (CGARL)

학습은 답변 정확성과 추론 일관성을 모두 보장하기 위해 3 단계 프로세스를 따릅니다:

• 1 단계 (결과 기반 RL): 모델은 $FSTR_{sft}$를 통해 SFT 로 학습된 후, ARSPO 를 사용하여 $FSTR_{rl}$의 하위 집합에 대해 결과 수준 RL 을 수행합니다. 이를 통해 도구를 호출하고 정확한 답변을 생성할 수 있는 정책 ($\pi_{ans}$) 이 도출됩니다.
• 2 단계 (체커 구축): 체커 (Checker) 모델은 증류 (distillation) 를 통해 학습됩니다. 이 모델은 $\pi_{ans}$가 생성한 도구 궤적을 평가하며, 내부 일관성, 도구 사용의 적절성, 그리고 증거의 충분성에 기반하여 이산 점수 ($s \in \{0, 0.5, 1\}$) 를 할당합니다. 이는 명시적으로 "가성 성공" 패턴을 처벌합니다.
• 3 단계 (과정 감독 RL): 주요 정책은 나머지 $FSTR_{rl}$에서 체커 기반 RL 을 수행합니다. 보상 함수는 답변 정확성과 체커의 과정 점수 ($s_{proc}$) 및 도구 사용 효율성 보상을 결합합니다. 이는 모델이 일관되고 증거 일관적인 추론 궤적을 생성하도록 장려합니다.

주요 기여

1. OmniVL-Guard Pro: 텍스트, 이미지, 비디오 모달리티 전반에 걸쳐 위조 탐지, 그라운딩, 분할을 통합하며 실시간 사건 검증과 세밀한 분할을 지원하는 개방형 세계 도구 강화 에이전트.
2. FSTR 데이터셋: 사후 편향을 완화하는 새로운 자기 진화 프레임워크를 통해 구축된 고희도 도구 검색 궤적 ($FSTR_{sft}$) 과 RL 학습 데이터 ($FSTR_{rl}$) 로 구성된 포괄적인 데이터셋.
3. 체커 기반 에이전트 RL (CGARL): 추론 과정이 최종 판단과 일치하도록 보장하기 위해 과정 수준 감독을 도입한 학습 패러다임으로, "답변은 정확하지만 과정은 왜곡됨"이라는 실패 모드를 효과적으로 해결합니다.
4. RealFact 벤치마크: 매개변수 메모리 이상의 능력을 테스트하도록 설계된 2025 년 1 월부터 2026 년 3 월까지의 사건을 다루는 실시간 사건 검증을 위한 새로운 벤치마크.

실험 결과

모델은 ISOT, CASIA2.0, MMFakeBench, FakeTT, IMD 를 포함한 도메인 내 및 도메인 외 (OOD) 벤치마크에서 평가되었습니다.

• 도메인 내 성능: OmniVL-Guard Pro 는 모든 작업에서 최첨단 성능을 달성했습니다. 이전 최고 성능 (OmniVL-Guard) 대비 주목할 만한 개선 사항은 다음과 같습니다:
  • RealFact 검증: 정확도 +30.71%.
  • 분할 (Dice): +25.77%.
  • 텍스트 - 이미지 로컬라이제이션: +30.71%.
• Zero-Shot 일반화: 모델은 미세 조정 없이도 보이지 않는 데이터셋에서 일반 MLLM(예: Qwen3VL-235B) 과 도메인 특화 베이스라인을 능가하는 강력한 OOD 성능을 보여주었습니다. 예를 들어, 텍스트 - 이미지 작업에서 81.74% 의 정확도와 분할 작업에서 42.93% 의 Dice 점수를 달성했습니다.
• Ablation 연구:
  • 체커 또는 RL 단계를 제거하면 과정 감독의 필요성을 확인하는 상당한 성능 저하가 발생했습니다.
  • 특정 도구 (예: 검색, 비디오 프레임 추출) 를 제거하면 해당 작업에서 상당한 저하가 발생했습니다 (예: 검색 없이 RealFact 정확도는 86.5% 에서 62.3% 로 하락).
  • 약한 힌트 기반 하드 궤적 합성은 결정적이었으며, 이를 제거할 경우 텍스트 로컬라이제이션에서 최대 9.63% 의 성능 저하가 발생했습니다.

의의 및 주장

본 논문은 OmniVL-Guard Pro 가 폐쇄형 세계 예측에서 개방형 세계 증거 기반 추론으로의 전환을 이루는 시각 - 언어 포렌식 분야의 패러다임 전환을 나타낸다고 주장합니다. 외부 도구를 통합하고 CGARL 을 통해 과정 수준의 일관성을 강제함으로써, 이 모델은 매개변수 지식과 정적 인식의 고유한 한계를 초월합니다. 저자들은 이 접근 방식이 단순히 최첨단 성능을 달성할 뿐만 아니라, 동적인 세계에서 실시간 사건을 검증하고 세밀한 조작을 로컬라이제이션하는 견고한 프레임워크를 확립한다고 주장합니다. 이 연구는 단순히 모델 크기를 확장하는 것만으로는 부족하며, 대신 모델이 외부 증거를 적극적으로 탐색, 검사, 그리고 추론할 수 있는 능력을 갖추는 것이 포렌식 역량을 발전시키는 핵심이라고 강조합니다.