Resumo Técnico: Garantias de Cobertura Conformal para Qualquer Localizador Temporal de Vídeo

Declaração do Problema

O posicionamento temporal em vídeo (video temporal grounding) envolve identificar os tempos de início e fim de um evento dentro de um vídeo contínuo dada uma consulta em linguagem natural. Um desafio fundamental neste domínio é a ambiguidade inerente às fronteiras dos eventos: a reanotação do mesmo par consulta–vídeo frequentemente resulta em intervalos sobrepostos que concordam por menos da metade em uma grande fração das amostras. Consequentemente, o ground truth é uma distribuição sobre intervalos, em vez de um único ponto.

Os localizadores temporais atuais, sejam modelos de localização treinados (ex: modelos estilo DETR) ou modelos de linguagem-vídeo (VLMs) de caixa-preta, produzem um único intervalo sem qualquer declaração de confiabilidade. Em implantação, um intervalo confiante, mas incorreto, é indistinguível de um correto, deixando aplicações de downstream (recuperação, edição, agentes de busca de evidências) sem uma maneira fundamentada de decidir quando adiar ou ampliar sua busca. Os métodos existentes de quantificação de incerteza ou exigem o retreinamento de arquiteturas específicas, dependem de acesso de caixa-branca ou falham em fornecer garantias de cobertura de amostra finita que correspondam aos seus alvos nominais.

Metodologia: Cover

O artigo propõe o Cover, um invólucro (wrapper) pós-hoc e agnóstico ao modelo que transforma qualquer localizador temporal existente em um sistema que emite uma região temporal contendo o momento real com uma probabilidade especificada pelo usuário de pelo menos $1 - \alpha$. O Cover não requer retreinamento, não exige acesso de caixa-branca e opera exclusivamente sobre as saídas do localizador e um conjunto de calibração mantido à parte.

O método baseia-se nos princípios da predição conformal adaptados para intervalos temporais:

1. Scores de Não Conformidade: O Cover define um score que representa o alargamento mínimo necessário para que um intervalo previsto contenha o ground truth.

   • Score de Alargamento de Intervalo: Para localizadores que emitem um intervalo $[\hat{s}, \hat{e}]$, o score é o máximo dos excessos normalizados nas fronteiras de início e fim: $s(X, I^*) = \max(\frac{\hat{s}-s^*}{\ell(X)}, \frac{e^*-\hat{e}}{\ell(X)})$, onde $\ell(X)$ é o comprimento previsto (ou uma escala fixa). Isso permite um alargamento de dois lados.
   • Variante por Fronteira: Uma variante de dois parâmetros calibra as fronteiras de início e fim separadamente para lidar com erros assimétricos.
   • Score de Super-Nível de Conjunto (Super-Level-Set): Para localizadores que emitem um sinal de relevância temporal $f_X(t)$, o score é $s(X, I^*) = -\min_{t \in I^*} f_X(t)$. Isso gera regiões adaptativas, potencialmente desconectadas, gastando o orçamento temporal apenas onde a relevância é alta.

2. Calibração: Dado um conjunto de calibração rotulado $\{(X_i, I^*_i)\}_{i=1}^n$, o Cover computa os scores de não conformidade e seleciona o limiar $\hat{q}$ como o quantil empírico de $(1-\alpha)$ (especificamente o $\lceil(n+1)(1-\alpha)\rceil$-ésimo menor score).

3. Predição: Para uma nova entrada de teste, a região final $\mathcal{C}(X)$ é construída alargando a predição base pelo quantil calibrado $\hat{q}$.

4. Variantes: O framework inclui uma variante de controle de risco para limitar a taxa de erro esperada e uma variante estratificada (calibração de Mondrian) para garantir a cobertura dentro de subpopulações específicas (ex: estratos de comprimento de evento).

Principais Contribuições

1. Quantificação de Incerteza Independente de Distribuição: O primeiro método a fornecer garantias de cobertura de amostra finita e independentes de distribuição para o posicionamento temporal em vídeo. Ele converte qualquer localizador (treinado ou de caixa-preta) em um preditor de conjunto com uma probabilidade garantida de conter o intervalo real.
2. Scores de Não Conformidade Temporal: A introdução de scores específicos para localizadores baseados em intervalos e baseados em sinais de relevância, incluindo uma variante de dois parâmetros para abordar erros de fronteira assimétricos.
3. Análise Teórica:
   • Eficiência: Prova de que o alargamento calibrado é assintoticamente ótimo em comprimento dentro da família escolhida de regiões.
   • Cobertura Condicional: Demonstração de que a cobertura se mantém condicionalmente ao comprimento do evento sob um modelo de escala ao usar scores normalizados pelo comprimento.
   • Limites de Permutabilidade (Exchangeability): Um limite explícito na degradação da cobertura quando momentos do mesmo vídeo violam as suposições de permutabilidade.
4. Certificação Empírica: Uma avaliação abrangente mostrando que a calibração é essencial para uma cobertura confiável, expondo falhas em avaliações baseadas em métricas de ponto e margens "escolhidas à mão".

Resultados Experimentais

O método foi avaliado em três benchmarks (Charades-STA, ActivityNet-Captions, QVHighlights) e cinco localizadores, incluindo um localizador treinado (QD-DETR) e um VLM de caixa-preta (Qwen2.5-VL-7B-Instruct).

• Validade da Cobertura: A cobertura realizada acompanha de perto o alvo $1-\alpha$ em todos os conjuntos de dados e modelos. Por exemplo, para um alvo de 0.90, o QD-DETR alcançou $0.895 \pm 0.003$ no ActivityNet-Captons.
• Eficiência: Nenhum grupo de scores domina uniformemente. Scores normalizados pelo comprimento geralmente apresentam bom desempenho, enquanto scores de super-nível de conjunto são mais eficientes para o QVHighlights em alvos de cobertura elevados.
• Calibração vs. Margens Fixas: Margens fixas escolhidas à mão falharam em alcançar cobertura consistente, com a cobertura realizada oscilando de 0.096 a 1.000 dependendo da constante escolhida. A calibração mostrou-se necessária para atingir o alvo desejado de forma eficiente.
• Detecção de Assimetria: A variante por fronteira revelou que o VLM (Qwen) possuía detecção de início quase perfeita, mas erros significativos de término (offset). Um score de parâmetro único desperdiçava orçamento na fronteira de início precisa, enquanto a variante de dois parâmetros reduziu o comprimento da região em até 9,1% no QVHighlights.
• Falha de Quantificação de Incerteza: Um localizador evidencial projetado para quantificação de incerteza perdeu seu alvo nominal de 0.80, alcançando apenas 0.660 de cobertura realizada. O Cover restaurou uma garantia válida sobre as mesmas predições.
• Robustez: O método manteve a validade sob mudanças de distribuição (transferência entre datasets) ao usar predição conformal ponderada, embora tenha atingido um "limite de positividade" onde os dados de origem não suportavam a distribuição de destino.

Significância e Alegações

O artigo afirma que o Cover muda fundamentalmente o objeto de saída do posicionamento temporal de uma estimativa de ponto para uma região confiável. Sua significância reside em:

• Agnosticismo de Modelo: Funciona em qualquer localizador, incluindo VLMs de caixa-preta, sem necessidade de retreinamento.
• Confiabilidade: Fornece uma garantia rigorosa de amostra finita de que um intervalo errado é distinguível de um correto com base na probabilidade de cobertura.
• Poder Diagnóstico: O processo de calibração atua como uma ferramenta de medição, revelando propriedades ocultas dos localizadores (ex: erros de fronteira assimétricos, falha de estimativas de incerteza nativas) que métricas de ponto padrão obscurecem.
• Implantação Prática: Oferece um mecanismo fundamentado para que agentes de downstream decidam quando adiar ou ampliar buscas, abordando um problema central no entendimento contínuo de vídeo.

Os autores mantêm a modéstia, reconhecendo que a garantia depende da suposição de permutabilidade (que pode ser violada dentro de vídeos longos ou entre datasets) e que a cobertura condicional exata e livre de atributos é teoricamente impossível de forma independente de distribuição. No entanto, eles demonstram que o método degrada-se graciosamente sob essas condições e fornece o primeiro framework prático para o posicionamento temporal confiável.