💻 computer science

Counterfactual Sensitivity Is Not Repairability: Auditing Replay Probes for Video Evidence

Este artigo apresenta o CARVE, um método de auditoria contrafactual de caixa preta que distingue o grounding visual genuíno de correlações espúrias em agentes de vídeo ao comparar a estabilidade da resposta sob condições de reprodução correspondentes de "sham" e "destroy", demonstrando sua eficácia como um sinal de roteamento reprodutível para melhorar a seleção de perguntas e a precisão.

Autores originais: Rama AlHamidi, Rasul Khanbayov, Erchin Serpedin, Hasan Kurban

Publicado 2026-08-18

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Rama AlHamidi, Rasul Khanbayov, Erchin Serpedin, Hasan Kurban

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No cenário moderno da inteligência artificial, surgiu uma nova geração de sistemas que não apenas leem texto, mas assistem ativamente a vídeos para responder a perguntas. Esses "agentes de vídeo" operam decompondo um filme longo em partes menores, selecionando quadros específicos que pareçam relevantes e, em seguida, usando esses fragmentos visuais para construir uma resposta. A promessa desta tecnologia é que a resposta final é construada diretamente a partir do que a máquina viu, fundamentando sua lógica nas filmagens reais, em vez de depender de conhecimento pré-existente ou suposições. No entanto, uma preocupação persistente assombra o campo: a máquina realmente olha para o vídeo ou ela simplesmente ignora as imagens que recuperou e responde baseada apenas na pergunta? Se um agente afirma ter assistido a uma cena, mas está respondendo de memória, sua confiabilidade é comprometida, contudo, não houve uma maneira simples de testar um sistema congelado e imutável para ver se ele está realmente prestando atenção.

Pesquisadores desenvolveram um método chamado CARVE para resolver este problema, atuando como um auditor rigoroso para esses agentes de vídeo. O processo começa com um agente de vídeo que já assistiu a um clipe e produziu uma resposta final. Os pesquisadores então pegam exatamente a mesma pergunta e o exato mesmo conjunto de quadros de vídeo que o agente selecionou originalmente, mas executam o sistema uma segunda vez sob duas condições diferentes e cuidadosamente combinadas. Na primeira condição, o sistema vê os quadros exatamente como eram, preservando todos os seus detalhes visuais. Na segunda condição, os pesquisadores embaralham o conteúdo visual daqueles mesmos quadros de modo que as formas e objetos sejam destruídos, deixando apenas um padrão de ruído estático e irreconhecível, mantendo o tempo e o layout idênticos. Ao comparar a frequência com que o agente muda sua resposta quando o conteúdo visual é destruído versus quando o conteúdo visual é preservado, os pesquisadores podem medir se a decisão do agente realmente dependeu do que ele viu.

O estudo encontrou uma diferença clara e significativa entre essas duas condições. Quando a evidência visual foi embaralhada, o agente mudou sua resposta aproximadamente vinte e nove pontos percentuais mais frequentemente do que quando a evidência visual foi deixada intacta. Essa grande lacuna sugere que, em média, o agente é de fato sensível ao conteúdo visual que recupera; se estivesse respondendo puramente por memória ou padrões de linguagem, o embaralhamento das imagens não causaria uma mudança tão dramática em suas respostas. Esse efeito agregado foi reproduzível em múltiplas execuções independentes, confirmando que a intervenção funciona e que o agente não está ignorando inteiramente o vídeo.

No entanto, os pesquisadores descobriram que esse resultado médio claro não se traduz perfeitamente em um teste confiável para cada pergunta. Quando tentaram usar essa pontuação para decidir quais perguntas específicas o agente estava respondendo corretamente ou incorretamente, os resultados tornaram-se instáveis. A pontuação é calculada contando quantas vezes a resposta muda em um pequeno número de execuções de teste e, com apenas algumas execuções, o resultado frequentemente cai exatamente em um empate ou flutua próximo a zero. Isso significa que, para qualquer pergunta individual, é difícil dizer com certeza se o agente estava fundamentado no vídeo ou não. Os pesquisadores descobriram que aumentar o número de execuções de teste para obter uma pontuação mais precisa, na verdade, tornou o processo de tomada de decisão pior. Embora mais execuções tenham esclarecido o número exato, elas fizeram com que muitas perguntas que anteriormente foram marcadas como "incertas" passassem para uma categoria "segura", fazendo com que o sistema perdesse oportunidades de corrigir erros.

Consequentemente, a equipe concluiu que esta ferramenta é melhor utilizada como um sinal de roteamento, em vez de um certificado definitivo de verdade. Não é um detector perfeito que pode dizer se uma resposta está certa ou errada, nem prova que o agente olhou para a parte correta do vídeo. Em vez disso, serve como um guia prático para quando confiar na primeira resposta da máquina e quando pedir uma segunda opinião. Ao usar a ferramenta para identificar um grupo específico de perguntas onde o agente parecia incerto ou excessivamente sensível ao embaralhamento visual, os pesquisadores foram capazes de rotear esses casos para um sistema secundário. Essa estratégia melhorou a precisão geral das respostas em mais de três pontos percentuais, um ganho significativo neste campo. O estudo revela, em última análise, que embora os agentes de vídeo sejam geralmente influenciados pelo que veem, a relação entre sua atenção visual e sua resposta final é complexa e ruidosa, exigindo gerenciamento cuidadoso em vez de um simples teste de passar ou falhar.

Resumo Técnico: CARVE – Auditoria Contrafactual de Evidência Visual Recuperada

Declaração do Problema
Agentes de vídeo que utilizam ferramentas recuperam evidências visuais (quadros, janelas temporais) para responder a perguntas, mas suas arquiteturas não impõem que a resposta final dependa dessa evidência recuperada. Os diagnósticos existentes frequentemente exigem intervalos temporais anotados ou um modelo "juiz" separado para determinar se um agente está alucinando ou dependendo de vieses linguísticos em vez de entrada visual. Os autores identificam uma lacuna: profissionais que detêm um sistema de agente fechado, possivelmente fixo, precisam de um método para auditar a dependência da evidência sem modificar o modelo, acessar gradientes ou depender de anotações externas.

Metodologia: A Sonda CARVE
O artigo introduz o CARVE (Counterfactual Auditing of Retrieved Visual Evidence), uma sonda contrafactual pareada de caixa-preta projetada para medir se a resposta comprometida de um agente muda quando sua evidência visual recuperada é semanticamente destruída.

Design de Intervenção:
- SHAM (Controle): Os quadros recuperados pelo agente são preservados, mas o pipeline é reexecutado (regenerando a realização de pixels, análise e resposta) para capturar a variabilidade inerente do pipeline.
- DESTROY (Intervenção): Os mesmos quadros recuperados passam por uma randomização de fase de Fourier. Isso interrompe as estruturas visuais dependentes de fase (destruindo o conteúdo semântico) enquanto preserva o layout, o espectro de amplitude e a contagem de quadros.
- Comparação: A resposta original do agente ( $\hat{a}$ ) é congelada. Tanto as condições SHAM quanto DESTROY são reproduzidas $k$ vezes. O escore $\hat{\Delta}$ é a diferença nas taxas de mudança de resposta entre DESTROY e SHAM: $\hat{\Delta} = \hat{\delta}_{destroy} - \hat{\delta}_{sham}$ .
Estrutura Teórica:
- O estimador $\hat{\Delta}$ é modelado como a diferença de duas proporções binomiais.
- Os autores derivam a lei exata de replicação finita, mostrando que o escore possui um suporte discreto (espaçado por $1/k$ ) e uma probabilidade não nula de empates exatos (escore zero) mesmo quando o escore populacional é diferente de zero.
- Esta análise destaca uma distinção crítica: uma sonda pode ser confiável em nível agregado (mostrando um grande efeito médio) enquanto permanece instável como uma regra de decisão por pergunta devido à variância e à discretização em orçamentos de replicação baixos ( $k$ ).
Política de Roteamento:
- A política primária delega uma pergunta a um respondedor secundário se $\hat{\Delta} \leq 0$ (indicando que a resposta não mudou significativamente mais sob destruição do que sob a replicação intacta, sugerindo que a resposta original pode não depender da evidência).
- O estudo avalia esta política em diferentes orçamentos de replicação ( $k=3$ e $k=10$ ).

Principais Contribuições

Uma Auditoria Contrafactual Pareada: O CARVE isola a sensibilidade da intervenção da variabilidade do pipeline sem exigir pesos do modelo, logits, retreinamento ou intervalos anotados.
Teoria de Replicação Finita: O artigo fornece uma conta teórica da variância, discretização e probabilidade de empate das sondas contrafactuais, explicando por que a estabilidade agregada não garante uma estabilidade de limiar por pergunta.
Desacoplamento da Resolução do Escore da Utilidade de Decisão: Os autores demonstram que aumentar o orçamento de replicação ( $k$ ) resolve a ambiguidade do escore (reduzindo empates), mas pode, paradoxalmente, enfraquecer um controlador de roteamento. Maior precisão na medição não resulta necessariamente em um melhor controlador se a distribuição dos casos acionáveis mudar em relação ao limite de decisão.
Caracterização Empírica: O estudo desmembra a cobertura temporal, a estabilidade de replicação e a reparabilidade, mostrando que o CARVE é um sinal de roteamento, e não um classificador direto de fundamentação (grounding).

Resultos

Efeito Agregado: Em três execuções independentes em um agente do tipo VideoExplorer congelado usando o conjunto de dados LVBench ( $n=1.258$ ), o DESTROY mudou a resposta 29,3 pontos percentuais mais frequentemente do que o SHAM. Isso confirma um efeito de intervenção agregado grande e reproduzível.
Desempenho de Roteamento:
- Em $k=3$ , a política inclusiva ( $\hat{\Delta} \leq 0$ ) selecionou 538 perguntas (42,8% do conjunto) e melhorou a precisão em 3,26 pontos percentuais (de 45,47% para 48,73%).
- A política rendeu 7,62 reparos líquidos por cada 100 chamadas de fallback, superando subconjuntos de roteamento aleatório pareado.
- Estabilidade vs. Utilidade: Aumentar $k$ de 3 para 10 resolveu a maioria dos empates (reduzindo a massa de empates), mas enfraqueceu a política de roteamento. A política $k=10$ selecionou menos perguntas e produziu ganhos de precisão menores, pois muitas perguntas que estavam em "empate" (e assim eram selecionadas) em $k=3$ tornaram-se positivas (e foram excluídas) em $k=10$ .
Validade de Construto:
- O escore $\hat{\Delta}$ mostra apenas uma associação fraca com a cobertura temporal anotada (ROC-AUC $\approx$ 0,53).
- A relação é condicional: para respostas corretas, as perguntas cobertas tiveram escores mais altos; para respostas incorretas, as perguntas cobertas tiveram escores mais baixos. Isso indica que $\hat{\Delta}$ não é uma medida direta de se a evidência sobrepõe o intervalo de verdade fundamental (ground truth).
Transferibilidade: A regra de roteamento mostrou ganhos médios positivos quando aplicada a um diferente backbone de respondedor (Qwen2.5-VL) e no benchmark Video-MME, embora a magnitude tenha sido assimétrica.

Significância e Alegações
O artigo alega modestamente que o CARVE fornece um método prático e livre de anotações para auditar se a resposta de um agente de vídeo fixo depende de sua evidência recuperada.

Não é um Certificado de Fundamentação: Os autores afirmam explicitamente que o CARVE não é um classificador direto de fundamentação ou um rótulo de correção. Um escore baixo não prova a independência do vídeo, nem um escore alto garante que a resposta esteja correta.
Um Sinal de Roteamento: A utilidade primária do CARVE é como um sinal de roteamento dependente de orçamento. Ele identifica um subconjunto de perguntas onde um mecanismo de fallback provavelmente resultará em reparos, performando melhor do que a seleção aleatória.
Insight de Design de Política: Uma descoberta fundamental é que a medição contrafactual "mais precisa" (maior $k$ ) não melhora automaticamente a tomada de decisão. A utilidade da sonda depende fortemente do ponto de operação específico (ex: o bloco de empate em $k=3$ ) e de como a distribuição dos casos se alinha ao limiar de decisão.

Em resumo, o CARVE oferece um método robusto de caixa-preta para detectar a dependência de evidência em agentes de vídeo, revelando que, embora o efeito agregado da destruição da evidência seja forte, o escore por pergunta é volátil e é melhor utilizado como um mecanismo de roteamento grosseiro do que como uma ferramenta de diagnóstico refinada.

Mais como este