OSEF: One-Step Evidence Fusion for Cross-Video Scene Procedure Planning

Resumo Técnico: OSEF: Fusão de Evidência em Passo Único para Planejamento de Procedimentos de Cena em Vídeos Cruzados

1. Definição do Problema: Planejamento de Procedimento de Cena em Vídeos Cruzados (CVSPP)

O artigo aborda uma lacuna nos sistemas existentes de Planejamento de Procedimento de Cena em Vídeo (VSPP). Os sistemas tradicionais de VSPP assumem que o vídeo de evidência correto e a janela temporal sejam fornecidos como entrada para prever uma sequência de ações que transforma uma cena inicial em uma cena de objetivo. Em cenários práticos, no entanto, a evidência correta não está disponível; um sistema deve primeiro recuperar o vídeo correto de um conjunto de candidatos e localizar a janela temporal relevante antes de planejar.

Os autores introduzem o Planejamento de Procedimento de Cena em Vídeos Cruzados (CVSPP) como uma tarefa de benchmark onde um modelo recebe:

1. Uma consulta legal: Uma descrição textual de uma transição início-objetivo com as respostas omitidas (ex: "início: batatas cruas; objetivo: batatas fritas douradas servidas") sem revelar o ID do vídeo, os carimbos de tempo ou a sequência de ações.
2. Um conjunto de candidatos ($K$ vídeos), cada um dividido em $M$ células temporais.

O modelo deve simultaneamente:

• Recuperar o vídeo de suporte correto.
• Localizar a janela temporal relevante dentro desse vídeo.
• Planejar a sequência de ações ordenada de conjunto fechado que faz a ponte entre os estados inicial e final.

A tarefa é definida por dois desafios acoplados:

• Ambiguidade de Evidência de Mesma Tarefa: Múltiplos vídeos candidatos podem demonstrar o mesmo procedimento nominal com estágios e janelas vizinhas quase idênticos, tornando a condicionação baseada apenas no nome da tarefa insuficiente.
• Propagação de Erro de Recuperação-para-Planejamento: Em cascata padrão de "recuperar-então-planejar", uma seleção rígida precoce do vídeo ou da janela errada passa uma cadeia de cenas incorreta para o planejador, fazendo com que a perda de planejamento falhe de forma irrecuperável.

2. Metodologia: Fusão de Evidência em Passo Único (OSEF)

Para enfrentar esses desafios, os autores propõem a Fusão de Evidência em Passo Único (OSEF), um framework que adia o compromisso irreversível da evidência. Em vez de selecionar um único vídeo e recortar uma janela antes do planejamento, o OSEF pontua todas as células candidatas e alimenta o planejador com a representação completa de evidência suave em um único caminho diferenciável.

A arquitetura consiste em três componentes principais:

1. Rede de Evidência Condicionada pela Consulta:

   • O modelo pontua cada célula $(k, m)$ na rede de $K \times M$ candidatos contra a consulta legal $q$.
   • Um levantamento simétrico livre de parâmetros constrói intervalos fechados válidos $(i \le j)$ para formar uma rede de pontuações $H_\theta(q, k, i, j)$.
   • O argmax desta rede determina o vídeo relatado e o intervalo localizado para avaliação, mas o caminho do planejador retém todas as $K \times M$ células.

2. Adaptador de Evidência-para-Plano (E2P) Global de Tokens:

   • Este componente evita a perda de sinais ao nível de célula que ocorre no pooling padrão.
   • Ele achata toda a rede $K \times M$ (sem recorte) e a processa através de um codificador Transformer de camada única.
   • $2T$ consultas de extremidade aprendidas (representando os estados de início e objetivo para cada um dos $T$ passos) realizam atenção cruzada com todas as células na rede.
   • Isso produz um tensor de cadeia de estados de cena ($B \times T \times 2 \times d_v$) onde a evidência de cada candidato permanece disponível para o planejador, mesmo que a seleção de argmax rígida seja incorreta.

3. Planejador Condicionado pelo Objetivo:

   • Um Transformer de três camadas mapeia os pares de estados para logits de ação por passo.
   • A consulta legal condiciona o planejador via dois mecanismos: um escalonamento/deslocamento afim estilo FiLM sobre os tokens de estado e como um token distinto prefixado para atenção.
   • Uma cabeça compartilhada decodifica os $T$ passos.

Objetivo de Treinamento:
O modelo emprega Supervisão de Cascata Conjunta. A perda ($L_{JC}$) combina a perda de entropia cruzada do plano gerado a partir da cadeia global suave ($\hat{S}$) com uma soma ponderada de perdas de planos gerados por cadeias candidatas individuais ($S_k$), ponderadas pela probabilidade de recuperação $p_k$. Isso permite que a perda de planejamento reformule a representação da evidência.

3. Construção do Benchmark

Os autores construíram um benchmark a partir de 11 fontes de vídeos instrucionais (3 benchmarks de planejamento nativos: COIN, CrossTask, NIV; e 8 fontes convertidas como YouCook2, Ego4D, etc.).

• Auditoria de Consulta Legal: Um portão "fail-closed" garante que as consultas não contenham vazamento da verdade fundamental (sem IDs de vídeo, carimbos de tempo ou sequências de ações).
• Papéis Negativos: O benchmark inclui papéis negativos tipados para testar modos de falha específicos: Vídeo Errado (WV), Janela Errada (WO) e Tarefa Errada (WA).
• Métricas:
  • Eixo de Evidência: R@1 de vídeo exato, MRR e IoU de intervalo.
  • Eixo de Plano: Precisão Média por passo (MAcc) e Sucesso de Sequência Exata (PLAN-SR).
  • Métrica Completa: FULL-SR, a probabilidade de recuperar corretamente o vídeo, localizar a janela e prever a sequência de ações exata simultaneamente.

4. Resultados Principais

O artigo avalia o OSEF contra nove famílias de planejadores adaptados (incluindo planejadores latentes, de grafos, generativos e de sequência discreta) através de 14 células de origem-horizonte.

• Desempenho de Ranking: O OSEF ocupa o primeiro lugar em todas as seis células nativas (COIN, CrossTask, NIV) onde o ranking de métodos é válido.
• Ganhos de Desempenho: Em quatro células de mesma tarefa correspondentes (COIN-T3/T4 e CrossTask-T3/T4), o OSEF melhora o FULL-SR em 2,9 a 10,7 pontos percentuais sobre um baseline SOTA de seleção rígida aprimorado.
• Análise de Componentes: Um estudo de ablação revela que a interface global de tokens (reter todas as células em vez de fazer pooling) representa o maior incremento individual de desempenho. O pooling suave sozinho é insuficiente; a capacidade de ler toda a rede via consultas aprendidas é crítica.
• Modos de Falha:
  • A recuperação está quase saturada em candidatos de tarefas distintas para fontes específicas (ex: NIV-T3 atinge 99,20% R@1), mas o planejamento continua sendo o gargalo.
  • A localização é fraca; um plano correto não garante uma janela correta (o FULL-SR permanece alto mesmo quando o IoU de intervalo é baixo).
  • Em fontes convertidas com rótulos grosseiros (ex: CEgo, TACoS), o desempenho frequentemente situa-se próximo ao "piso da maioria-sequência", indicando que estas células são testes de estresse de degeneração de rótulo em vez de evidência de ranking.

5. Significância e Alegações

O artigo afirma ser o primeiro benchmark a pontuar recuperação, localização e planejamento juntos a partir de uma consulta com respostas omitidas. Sua significância reside em:

1. Formalizar o Problema Acoplado: Ele separa explicitamente a "ambiguidade de evidência de mesma tarefa" da "propagação de erro de recuperação-para-planejamento", mostrando que as cascatas de seleção rígida são frágeis.
2. Introduzir a Fusão Suave: O OSEF demonstra que manter a evidência "suave" sobre toda a rede de candidatos e alimentá-la ao planejador via um adaptador global de tokens supera significativamente os baselines de seleção rígida.
3. Testar a Transferência de Benchmark: Fornece um ambiente de teste rigoroso para como os planejadores de VSPP existentes transferem quando a evidência não é fornecida, revelando que a maioria dos planejadores herdados falha sem a interface específica do OSEF.

Os autores observam modestamente limitações: a configuração atual usa características congeladas e consultas determinísticas, e o custo da rede cresce com o número de candidatos ($K$). Eles identificam a decodificação fiel de intervalos e backbones mais fortes como desafios abertos. O pacote suplementar inclui construtores de modelos, código de avaliação e auditorias por célula.