Resumo Técnico: OmniVL-Guard Pro

Declaração do Problema

Os métodos existentes de detecção e localização de falsificações em visão e linguagem operam predominantemente sob um paradigma de mundo fechado. Esses Modelos de Linguagem Multimodal (MLLMs) autossuficientes dependem exclusivamente de memória paramétrica e corpora de treinamento estáticos. Essa abordagem enfrenta um teto prático em cenários forenses dinâmicos e de mundo aberto devido a três restrições principais:

1. Conhecimento Paramétrico Finito: Os modelos não podem verificar eventos em tempo real que ocorreram após o corte de treinamento ou que exigem verificação factual externa.
2. Percepção Estática: Eles carecem da capacidade de realizar escrutínio fino de limites locais, descontinuidades de textura ou artefatos sutis necessários para a segmentação de falsificação em nível de pixel.
3. Resolução Limitada: A resolução perceptiva nativa é insuficiente para detectar manipulações mínimas sem ferramentas externas de zoom ou recorte.

Consequentemente, os métodos atuais lutam com Verificação de Eventos em Tempo Real (exigindo pistas externas) e Segmentação de Falsificação (exigindo inspeção local fina). Além disso, as abordagens existentes frequentemente sofrem de um padrão de "sucesso pseudo", onde a resposta final está correta, mas o processo de raciocínio é distorcido ou carece de uma cadeia de evidências verificável.

Metodologia

Os autores propõem o OmniVL-Guard Pro, um agente aumentado por ferramentas projetado para mudar a forense unificada da previsão de mundo fechado para o raciocínio baseado em evidências de mundo aberto. O framework integra um ambiente de ferramentas especializado com um pipeline de treinamento inovador.

1. Ambiente Aprimorado por Ferramentas

O agente opera dentro de um ambiente equipado com sete ferramentas específicas para adquirir conhecimento externo e dados visuais de alta granularidade:

• Pesquisa de Eventos em Tempo Real: Consulta a web por fatos sensíveis ao tempo.
• Recorte e Zoom Local: Extrai e amplia regiões específicas para inspeção detalhada.
• Triagem de Anomalias de Borda: Varre densidade de borda local, energia Laplaciana e discrepâncias de vizinhança para identificar regiões suspeitas.
• Detecção de Rosto: Identifica caixas delimitadoras faciais para inspeção de retratos.
• Extração de Quadros de Vídeo: Extrai quadros de segmentos temporais específicos para análise em nível de imagem.
• Segmentação SAM3: Gera máscaras em nível de pixel baseadas em prompts (caixas, pontos).

2. Construção de Dados: Geração de Trajetória de Ferramentas Autoevolutiva em Estrutura de Árvore

Para treinar o agente, os autores constroem o conjunto de dados Full-Spectrum Tool Reasoning (FSTR). Eles abordam o "dilema eficiência-viés" (onde a exploração livre produz dados de baixa qualidade e a injeção de verdade fundamental causa viés retrospectivo) através de um processo de quatro etapas:

• Orientação de Semente: Usa um pool de especialistas MLLM (Explorer e Guider) para realizar busca em estrutura de árvore. O Guider valida etapas contra a verdade fundamental, podando ramos inválidos.
• Expansão Autoevolutiva sem Guider: A política explora autonomamente o ambiente de ferramentas sem orientação consciente da resposta, escalando o conjunto de dados através de execuções iterativas.
• Síntese de Trajetória Difícil com Pistas Fracas: Para amostras difíceis de cauda longa que falham na autoevolução, um Guider fornece pistas fracas (por exemplo, regiões aproximadas ou palavras-chave) para orientar o Explorer sem revelar a resposta. Um Refiner reescreve então o raciocínio para eliminar traços explícitos das pistas, garantindo que a trajetória final pareça autônoma.
• Composição do Conjunto de Dados: O conjunto de dados FSTR resultante inclui $FSTR_{sft}$ (69.323 amostras) para Ajuste Fino Supervisionado (SFT) de inicialização fria e $FSTR_{rl}$ (81.087 amostras) para Aprendizado por Reforço (RL).

3. Estratégia de Treinamento: Aprendizado por Reforço Agente Guiado por Verificador (CGARL)

O treinamento segue um processo de três etapas para garantir tanto a correção da resposta quanto a consistência do raciocínio:

• Etapa I (RL Orientado a Resultado): O modelo é treinado em $FSTR_{sft}$ via SFT, seguido por RL em nível de resultado em um subconjunto de $FSTR_{rl}$ usando ARSPO. Isso produz uma política ($\pi_{ans}$) capaz de invocar ferramentas e produzir respostas corretas.
• Etapa II (Construção do Verificador): Um modelo Verificador é treinado via destilação. Ele avalia trajetórias de ferramentas produzidas por $\pi_{ans}$ e atribui uma pontuação discreta ($s \in \{0, 0.5, 1\}$) com base na consistência interna, razoabilidade do uso de ferramentas e suficiência de evidências. Isso penaliza explicitamente o padrão de "sucesso pseudo".
• Etapa III (RL Supervisionado por Processo): A política principal passa por RL guiado pelo Verificador no restante de $FSTR_{rl}$. A função de recompensa combina a correção da resposta com a pontuação de processo do Verificador ($s_{proc}$) e uma recompensa de eficiência de uso de ferramentas. Isso incentiva o modelo a gerar trajetórias de raciocínio coerentes e consistentes com as evidências.

Principais Contribuições

1. OmniVL-Guard Pro: Um agente de mundo aberto, aumentado por ferramentas, que unifica detecção de falsificação, localização e segmentação em modalidades de texto, imagem e vídeo, suportando verificação de eventos em tempo real e segmentação de alta granularidade.
2. Conjunto de Dados FSTR: Um conjunto de dados abrangente composto por trajetórias de busca de ferramentas de alta fidelidade ($FSTR_{sft}$) e dados de treinamento para RL ($FSTR_{rl}$), construído através de um novo framework autoevolutivo que mitiga o viés retrospectivo.
3. Aprendizado por Reforço Agente Guiado por Verificador (CGARL): Um paradigma de treinamento que introduz supervisão em nível de processo para garantir que o processo de raciocínio seja consistente com o julgamento final, abordando efetivamente o modo de falha "a resposta está correta, mas o processo está distorcido".
4. Benchmark RealFact: Um novo benchmark para verificação de eventos em tempo real cobrindo eventos de janeiro de 2025 a março de 2026, projetado para testar capacidades além da memória paramétrica.

Resultados Experimentais

O modelo foi avaliado em benchmarks de domínio e fora de domínio (OOD), incluindo ISOT, CASIA2.0, MMFakeBench, FakeTT e IMD.

• Desempenho em Domínio: O OmniVL-Guard Pro alcançou desempenho de ponta em todas as tarefas. Melhorias notáveis sobre o melhor anterior (OmniVL-Guard) incluíram:
  • Verificação RealFact: +30,71% de precisão.
  • Segmentação (Dice): +25,77%.
  • Localização Texto-Imagem: +30,71%.
• Generalização Zero-Shot: O modelo demonstrou forte desempenho OOD, superando MLLMs gerais (por exemplo, Qwen3VL-235B) e baselines específicos de domínio em conjuntos de dados não vistos. Por exemplo, alcançou 81,74% de precisão em tarefas de Texto-Imagem e 42,93% de Dice em tarefas de segmentação sem ajuste fino.
• Estudos de Ablação:
  • Remover o Verificador ou as etapas de RL resultou em quedas significativas de desempenho, confirmando a necessidade de supervisão de processo.
  • Remover ferramentas específicas (por exemplo, Pesquisa, Extração de Quadros de Vídeo) causou degradação substancial nas tarefas correspondentes (por exemplo, a precisão do RealFact caiu de 86,5% para 62,3% sem Pesquisa).
  • A Síntese de Trajetória Difícil com Pistas Fracas foi crítica, com sua remoção causando quedas de desempenho de até 9,63% na localização de texto.

Significado e Alegações

O artigo afirma que o OmniVL-Guard Pro representa uma mudança de paradigma na forense de visão e linguagem, movendo-se da previsão de mundo fechado para o raciocínio baseado em evidências de mundo aberto. Ao integrar ferramentas externas e impor consistência em nível de processo através do CGARL, o modelo transcende os limites intrínsecos do conhecimento paramétrico e da percepção estática. Os autores afirmam que essa abordagem não apenas alcança desempenho de ponta, mas também estabelece um framework robusto para verificar eventos em tempo real e localizar manipulações de alta granularidade em um mundo dinâmico. O trabalho enfatiza que simplesmente escalar o tamanho do modelo é insuficiente; em vez disso, equipar modelos com a capacidade de buscar ativamente, inspecionar e raciocinar sobre evidências externas é a chave para avançar as capacidades forenses.