Counterfactual Sensitivity Is Not Repairability: Auditing Replay Probes for Video Evidence

Resumen Técnico: CARVE – Auditoría Contrafactual de la Evidencia Visual Recuperada

Declaración del Problema
Los agentes de video que utilizan herramientas recuperan evidencia visual (fotogramas, ventanas temporales) para responder preguntas; sin embargo, sus arquitecturas no imponen que la respuesta final dependa de dicha evidencia recuperada. Los diagnósticos existentes suelen requerir intervalos temporales anotados o un modelo "juez" separado para determinar si un agente está alucinando o dependiendo de sesgos lingüísticos en lugar de la entrada visual. Los autores identifican una brecha: los profesionales que poseen un sistema de agente cerrado y posiblemente fijo necesitan un método para auditar la dependencia de la evidencia sin modificar el modelo, acceder a los gradientes o depender de anotaciones externas.

Metodología: La Sonda CARVE
El artículo presenta CARVE (Counterfactual Auditing of Retrieved Visual Evidence), una sonda contrafactual emparejada de caja negra diseñada para medir si la respuesta comprometida de un agente cambia cuando su evidencia visual recuperada es semánticamente destruida.

1. Diseño de Intervención:

   • SHAM (Control): Se preservan los fotogramas recuperados por el agente, pero se vuelve a ejecutar el flujo de trabajo (regenerando la realización de píxeles, el análisis sintáctico y la respuesta) para capturar la variabilidad inherente del proceso.
   • DESTROY (Intervención): Los mismos fotogramas recuperados se someten a una aleatorización de la fase de Fourier. Esto interrumpe las estructuras visuales dependientes de la fase (destruyendo el contenido semántico) mientras preserva la disposición, el espectro de amplitud y el recuento de fotogramas.
   • Comparación: Se congela la respuesta original del agente ($\hat{a}$). Tanto las condiciones SHAM como DESTROY se replican $k$ veces. La puntuación $\hat{\Delta}$ es la diferencia en las tasas de cambio de respuesta entre DESTROY y SHAM: $\hat{\Delta} = \hat{\delta}_{destroy} - \hat{\delta}_{sham}$.

2. Marco Teórico:

   • El estimador $\hat{\Delta}$ se modela como la diferencia de dos proporciones binomiales.
   • Los autores derivan la ley exacta de repetición finita, mostrando que la puntuación tiene un soporte discreto (espaciado por $1/k$) y una probabilidad no nula de empates exactos (puntuación cero) incluso cuando la puntuación de la población es distinta de cero.
   • Este análisis resalta una distinción crítica: una sonda puede ser fiable en agregado (mostrando un gran efecto medio) mientras permanece inestable como regla de decisión por pregunta debido a la varianza y la discreción en presupuestos de repetición bajos ($k$).

3. Política de Enrutamiento:

   • La política principal delega una pregunta a un segundo respondedor si $\hat{\Delta} \leq 0$ (lo que indica que la respuesta no cambió significativamente más bajo la destrucción que bajo la repetición intacta, sugiriendo que la respuesta original puede no depender de la evidencia).
   • El estudio evalúa esta política con diferentes presupuestos de repetición ($k=3$ y $k=10$).

Contribuciones Clave

1. Una Auditoría Contrafactual Emparejada: CARVE aisla la sensibilidad de la intervención de la variabilidad del proceso sin requerir pesos del modelo, logits, reentrenamiento o intervalos anotados.
2. Teoría de Repetición Finita: El artículo proporciona un recuento teórico de la varianza, la discreción y la probabilidad de empate de las sondas contrafactuales, explicando por qué la estabilidad agregada no garantiza la estabilidad de los umbrales por pregunta.
3. Desacoplamiento de la Resolución de la Puntuación de la Utilidad de la Decisión: Los autores demuestran que aumentar el presupuesto de repetición ($k$) resuelve la ambigüedad de la puntuación (reduciendo los empates) pero puede debilitar paradójicamente una política de enrutamiento fija. Una mayor precisión en la medición no produce necesariamente un mejor controlador si la distribución de los casos accionables se desplaza respecto al límite de decisión.
4. Caracterización Empírica: El estudio desentraña la cobertura temporal, la estabilidad de la repetición y la reparabilidad, mostrando que CARVE es una señal de enrutamiento en lugar de un clasificador de fundamentación directa.

Resultos

• Efecto Agregado: A través de tres ejecuciones independientes en un agente de estilo VideoExplorer usando el conjunto de datos LVBench ($n=1,258$), DESTROY cambió la respuesta 29.3 puntos porcentuales más a menudo que SHAM. Esto confirma un efecto de intervención agregado grande y reproducible.
• Rendimiento del Enrutamiento:
  • Con $k=3$, la política inclusiva ($\hat{\Delta} \leq 0$) seleccionó 538 preguntas (42.8% del conjunto) y mejoró la precisión en 3.26 puntos porcentuales (de 45.47% a 48.73%).
  • La política produjo 7.62 reparaciones netas por cada 100 llamadas de respaldo (fallback), superando a los subconjuntos de enrutamiento aleatorio emparejados.
  • Estabilidad vs. Utilidad: Aumentar $k$ de 3 a 10 resolvió la mayoría de los empates (reduciendo la masa de empates) pero debilitó la política de enrutamiento. La política de $k=10$ seleccionó menos preguntas y produjo menores ganancias de precisión, ya que muchas preguntas que estaban en "empate" (y por tanto eran seleccionadas) en $k=3$ pasaron a ser positivas (y excluidas) en $k=10$.
• Validez de Constructo:
  • La puntuación $\hat{\Delta}$ muestra solo una asociación débil con la cobertura temporal anotada (ROC-AUC $\approx$ 0.53).
  • La relación es condicional: para las respuestas correctas, las preguntas cubiertas tuvieron puntuaciones más altas; para las incorrectas, las preguntas cubiertas tuvieron puntuaciones más bajas. Esto indica que $\hat{\Delta}$ no es una medida directa de si la evidencia se solapa con el intervalo de la verdad fundamental (ground truth).
• Transferibilidad: La regla de enrutamiento mostró ganancias de transferencia media positivas cuando se aplicó a un esqueleto de respondedor diferente (Qwen2.5-VL) y en el benchmark Video-MME, aunque la magnitud fue asimétrica.

Significado y Reivindicaciones
El artículo afirma modestamente que CARVE proporciona un método práctico y sin anotaciones para auditar si la respuesta de un agente de video congelado depende de su evidencia recuperada.

• No es un Certificado de Fundamentación: Los autores declaran explícitamente que CARVE no es un clasificador de fundamentación directa ni una etiqueta de corrección. Una puntuación baja no prueba la independencia de la evidencia de video, ni una puntuación alta garantiza que la respuesta sea correcta.
• Una Señal de Enrutamiento: La utilidad principal de CARVE es una señal de enrutamiento dependiente del presupuesto. Identifica un subconjunto de preguntas donde un mecanismo de respaldo es probable que produzca reparaciones, rindiendo mejor que la selección aleatoria.
• Perspectiva de Diseño de Políticas: Un hallazgo clave es que una medición contrafactual "más precisa" (mayor $k$) no mejora automáticamente la toma de decisiones. La utilidad de la sonda depende fuertemente del punto de operación específico (por ejemplo, el bloque de empate en $k=3$) y de cómo la distribución de los casos se alinea con el umbral de decisión.

En resumen, CARVE ofrece un método robusto de caja negra para detectar la dependencia de la evidencia en agentes de video, revelando que, si bien el efecto agregado de la destrucción de la evidencia es fuerte, la puntuación por pregunta es volátil y funciona mejor como un mecanismo de enrutamiento grueso en lugar de una herramienta de diagnóstico de grano fino.