Resumen Técnico: OmniVL-Guard Pro

Declaración del Problema

Los métodos existentes de detección y localización de falsificaciones visuales y lingüísticas operan predominantemente bajo un paradigma de mundo cerrado. Estos Modelos de Lenguaje Multimodal (MLLM) autocontenidos dependen exclusivamente de la memoria paramétrica y de corpus de entrenamiento estáticos. Este enfoque enfrenta un límite práctico en escenarios forenses dinámicos y de mundo abierto debido a tres restricciones principales:

1. Conocimiento Paramétrico Finito: Los modelos no pueden verificar eventos en tiempo real ocurridos después de su corte de entrenamiento ni requieren verificación factual externa.
2. Percepción Estática: Carecen de la capacidad para realizar un escrutinio fino de límites locales, discontinuidades de textura o artefactos sutiles necesarios para la segmentación de falsificaciones a nivel de píxel.
3. Resolución Limitada: La resolución perceptiva nativa es insuficiente para detectar manipulaciones mínimas sin herramientas externas de zoom o recorte.

En consecuencia, los métodos actuales luchan con la Verificación de Eventos en Tiempo Real (que requiere pistas externas) y la Segmentación de Falsificaciones (que requiere inspección local fina). Además, los enfoques existentes a menudo sufren un patrón de "éxito pseudo" donde la respuesta final es correcta, pero el proceso de razonamiento está distorsionado o carece de una cadena de evidencia verificable.

Metodología

Los autores proponen OmniVL-Guard Pro, un agente aumentado con herramientas diseñado para cambiar la forense unificada de la predicción de mundo cerrado al razonamiento impulsado por evidencia en mundo abierto. El marco integra un entorno de herramientas especializado con una nueva tubería de entrenamiento.

1. Entorno Mejorado con Herramientas

El agente opera dentro de un entorno equipado con siete herramientas específicas para adquirir conocimiento externo y datos visuales de alta granularidad:

• Búsqueda de Eventos en Tiempo Real: Consulta la web para obtener hechos sensibles al tiempo.
• Recorte y Zoom Local: Extrae y amplía regiones específicas para una inspección detallada.
• Detección de Anomalías de Borde: Escanea la densidad de bordes local, la energía de Laplaciano y las discrepancias vecinas para identificar regiones sospechosas.
• Detección de Rostros: Identifica cajas delimitadoras faciales para la inspección de retratos.
• Extracción de Fotogramas de Video: Extrae fotogramas de segmentos temporales específicos para análisis a nivel de imagen.
• Segmentación SAM3: Genera máscaras a nivel de píxel basadas en indicaciones (cajas, puntos).

2. Construcción de Datos: Generación de Trayectorias de Herramientas Autoevolutivas Estructuradas en Árbol

Para entrenar al agente, los autores construyen el conjunto de datos Razonamiento de Herramientas de Espectro Completo (FSTR). Abordan el "dilema eficiencia-sesgo" (donde la exploración libre genera datos de baja calidad y la inyección de verdad fundamental causa sesgo de hindsight) mediante un proceso de cuatro etapas:

• Guía Semilla: Utiliza un grupo de expertos MLLM (Explorador y Guía) para realizar una búsqueda estructurada en árbol. El Guía valida los pasos contra la verdad fundamental, podando ramas inválidas.
• Expansión Autoevolutiva Sin Guía: La política explora autónomamente el entorno de herramientas sin guía consciente de la respuesta, escalando el conjunto de datos mediante despliegues iterativos.
• Síntesis de Trayectorias Difíciles con Pistas Débiles: Para muestras difíciles de cola larga que fallan en la autoevolución, un Guía proporciona pistas débiles (por ejemplo, regiones aproximadas o palabras clave) para guiar al Explorador sin revelar la respuesta. Un Refinador reescribe luego el razonamiento para eliminar rastros explícitos de las pistas, asegurando que la trayectoria final parezca autónoma.
• Composición del Conjunto de Datos: El conjunto de datos FSTR resultante incluye $FSTR_{sft}$ (69.323 muestras) para el Ajuste Fino Supervisado (SFT) de arranque en frío y $FSTR_{rl}$ (81.087 muestras) para Aprendizaje por Refuerzo (RL).

3. Estrategia de Entrenamiento: Aprendizaje por Refuerzo Agente Guiado por Verificador (CGARL)

El entrenamiento sigue un proceso de tres etapas para garantizar tanto la corrección de la respuesta como la consistencia del razonamiento:

• Etapa I (RL Impulsado por Resultados): El modelo se entrena sobre $FSTR_{sft}$ mediante SFT, seguido de RL a nivel de resultado en un subconjunto de $FSTR_{rl}$ utilizando ARSPO. Esto produce una política ($\pi_{ans}$) capaz de invocar herramientas y producir respuestas correctas.
• Etapa II (Construcción del Verificador): Se entrena un modelo Verificador mediante destilación. Evalúa las trayectorias de herramientas producidas por $\pi_{ans}$ y asigna una puntuación discreta ($s \in \{0, 0.5, 1\}$) basada en la consistencia interna, la razonabilidad del uso de herramientas y la suficiencia de la evidencia. Esto penaliza explícitamente el patrón de "éxito pseudo".
• Etapa III (RL Supervisado por Proceso): La política principal experimenta RL guiado por el Verificador en el resto de $FSTR_{rl}$. La función de recompensa combina la corrección de la respuesta con la puntuación de proceso del Verificador ($s_{proc}$) y una recompensa de eficiencia de uso de herramientas. Esto incentiva al modelo a generar trayectorias de razonamiento coherentes y consistentes con la evidencia.

Contribuciones Clave

1. OmniVL-Guard Pro: Un agente de mundo abierto aumentado con herramientas que unifica la detección de falsificaciones, la localización y la segmentación a través de modalidades de texto, imagen y video, apoyando la verificación de eventos en tiempo real y la segmentación fina.
2. Conjunto de Datos FSTR: Un conjunto de datos integral que comprende trayectorias de búsqueda de herramientas de alta fidelidad ($FSTR_{sft}$) y datos de entrenamiento RL ($FSTR_{rl}$), construido mediante un marco autoevolutivo novedoso que mitiga el sesgo de hindsight.
3. RL Agente Guiado por Verificador (CGARL): Un paradigma de entrenamiento que introduce supervisión a nivel de proceso para asegurar que el proceso de razonamiento sea consistente con el juicio final, abordando eficazmente el modo de fallo de "la respuesta es correcta pero el proceso está distorsionado".
4. RealFact Benchmark: Una nueva referencia para la verificación de eventos en tiempo real que cubre eventos desde enero de 2025 hasta marzo de 2026, diseñada para probar capacidades más allá de la memoria paramétrica.

Resultados Experimentales

El modelo se evaluó en referencias tanto dentro del dominio como fuera del dominio (OOD), incluyendo ISOT, CASIA2.0, MMFakeBench, FakeTT e IMD.

• Rendimiento Dentro del Dominio: OmniVL-Guard Pro logró un rendimiento de vanguardia en todas las tareas. Las mejoras notables sobre el mejor anterior (OmniVL-Guard) incluyeron:
  • Verificación RealFact: +30,71% de precisión.
  • Segmentación (Dice): +25,77%.
  • Localización Texto-Imagen: +30,71%.
• Generalización Zero-Shot: El modelo demostró un fuerte rendimiento OOD, superando a MLLMs generales (por ejemplo, Qwen3VL-235B) y líneas base específicas del dominio en conjuntos de datos no vistos. Por ejemplo, logró una precisión del 81,74% en tareas de Texto-Imagen y un Dice del 42,93% en tareas de segmentación sin ajuste fino.
• Estudios de Ablación:
  • Eliminar el Verificador o las etapas de RL resultó en caídas significativas de rendimiento, confirmando la necesidad de supervisión de proceso.
  • Eliminar herramientas específicas (por ejemplo, Búsqueda, Extracción de Fotogramas de Video) causó una degradación sustancial en las tareas correspondientes (por ejemplo, la precisión de RealFact cayó del 86,5% al 62,3% sin Búsqueda).
  • La Síntesis de Trayectorias Difíciles con Pistas Débiles fue crítica, con su eliminación causando caídas de rendimiento de hasta un 9,63% en la localización de texto.

Significado y Afirmaciones

El artículo afirma que OmniVL-Guard Pro representa un cambio de paradigma en la forense visual-lingüística, pasando de la predicción de mundo cerrado al razonamiento impulsado por evidencia en mundo abierto. Al integrar herramientas externas y hacer cumplir la consistencia a nivel de proceso mediante CGARL, el modelo trasciende los límites intrínsecos del conocimiento paramétrico y la percepción estática. Los autores afirman que este enfoque no solo logra un rendimiento de vanguardia, sino que también establece un marco robusto para verificar eventos en tiempo real y localizar manipulaciones finas en un mundo dinámico. El trabajo enfatiza que simplemente escalar el tamaño del modelo es insuficiente; en cambio, equipar a los modelos con la capacidad de buscar activamente, inspeccionar y razonar sobre evidencia externa es la clave para avanzar en las capacidades forenses.