Deep kernel video approximation for unsupervised action segmentation

1. Problema e Motivação

O artigo aborda a tarefa de segmentação de ação não supervisionada por vídeo (per-video unsupervised action segmentation). O cenário específico foca em aplicações onde o armazenamento de grandes conjuntos de dados de treinamento é impossível ou proibido devido a preocupações de privacidade (ex: saúde e assistência à vida).

• Desafio Principal: Segmentar um único vídeo em ações mutuamente exclusivas sem acesso a grandes conjuntos de dados de treinamento ou anotações.
• Limitações das Abordagens Anteriores: Métodos existentes (baseados em agrupamento ou modelos probabilísticos) frequentemente não modelam a distribuição subjacente do vídeo, ignorando a geometria do espaço de vídeo. Isso os torna instáveis frente a deformações nos suportes da distribuição.
• Distância de Métricas: Métricas comuns como Transporte Ótimo (OT) são computacionalmente caras e difíceis de otimizar. Métricas baseadas em geometria, como a Divergência de Máxima Média (MMD), são mais eficientes, mas a escolha do kernel é crítica.

2. Metodologia Proposta

O núcleo da proposta é aprender uma aproximação de vídeo (um conjunto pequeno de quadros sintéticos) que represente fielmente a distribuição dos quadros reais do vídeo original, otimizando essa aproximação em um espaço de kernel profundo.

A. Aproximação de Vídeo e MMD

• Objetivo: Aprender um conjunto pequeno de quadros sintéticos $\{e_{v_m}\}$ (onde $M \ll N$) que aproxime a distribuição $P$ dos quadros reais do vídeo $\{v_i\}$.
• Métrica de Otimização: Utiliza-se a Divergência de Máxima Média (MMD) para medir a "proximidade" entre a distribuição real $P$ e a distribuição da aproximação $Q$. O MMD é escolhido por ser uma métrica que preserva a geometria no espaço de distribuição, ser mais fácil de otimizar e mais rápida que o Transporte Ótimo (OT).
• Formulação: Minimiza-se o MMD quadrático entre as médias dos kernels das duas distribuições:
  $$\text{MMD}^2(P, Q, \mathcal{H}) = \frac{1}{N^2}\sum k(v_i, v_j) + \frac{1}{M^2}\sum k(e_{v_n}, e_{v_m}) - \frac{2}{NM}\sum k(v_i, e_{v_m})$$

B. Espaços de Kernel Profundo (NTKs)

• Desafio do Kernel: Kernels fixos (ex: família exponencial) têm poder descritivo limitado. Aprender o kernel junto com a aproximação leva a soluções triviais.
• Solução: O uso de Neural Tangent Kernels (NTKs), especificamente NTKs infinitos.
  • Os NTKs combinam a flexibilidade não paramétrica dos métodos de kernel com o poder descritivo de redes neurais profundas.
  • Para garantir que o kernel seja "característico" (capaz de distinguir distribuições diferentes quando o MMD é zero), os autores combinam o NTK com um Kernel Gaussiano.
  • Kernel Final: Produto do NTK e do Kernel Gaussiano, com um fator de reescala para equilibrar as faixas de valores:
    $$k(v_i, v_j) = \alpha \cdot k_{ntk}(v_i, v_j) \cdot k_G(v_i, v_j)$$
  • O parâmetro de escala do kernel Gaussiano ($\lambda$) é fixado na mediana das distâncias quadradas entre os dados para evitar soluções triviais.

C. Segmentação de Ações

• Após aprender a aproximação $\{e_{v_m}\}$, cada quadro real do vídeo é atribuído ao quadro sintético mais próximo no espaço do kernel (maior similaridade de kernel).
• Suavização Temporal: Para evitar sobre-segmentação, os quadros de entrada são suavizados temporalmente usando um filtro Gaussiano antes da otimização.
• Correspondência: Utiliza-se o emparelhamento Húngaro para mapear os índices dos quadros sintéticos às classes de ação do ground truth (para avaliação).

3. Contribuições Principais

1. Primeira Abordagem com Aproximação de Vídeo em Kernel Profundo: Propõe aprender uma representação sintética compacta do vídeo otimizando uma métrica de preservação de geometria (MMD) em um espaço de kernel profundo.
2. Uso de NTKs Infinitos: Demonstra a eficácia de NTKs infinitos (definidos sobre redes MLP de largura infinita) para fornecer poder descritivo superior a kernels fixos, sem a necessidade de treinar parâmetros de rede (já que o kernel é fixo e derivado da arquitetura).
3. Robustez ao Número Desconhecido de Segmentos: O método não força rigidamente um número fixo de segmentos. Se o número de quadros sintéticos aprendidos não corresponder perfeitamente aos dados, alguns podem não ser atribuídos, permitindo que o método se adapte melhor à estrutura real dos dados do que métodos de agrupamento hierárquico (agglomerative).
4. Eficiência Computacional: O uso de MMD em batches permite processar vídeos longos de forma eficiente, com complexidade $O(n^2)$, superior ao OT ($O(n^3 \log n)$).

4. Resultados Experimentais

Os autores avaliaram o método em seis benchmarks padrão: Breakfast, 50 Salads, YTI, Desktop Assembly, Hollywood Extended e MPII Cooking 2.

• Desempenho Geral: O método obteve resultados competitivos em comparação com o estado da arte (TW-FINCH, ABD, ASOT, CLOT) em cenários de segmentação por vídeo.
• Cenário Realista (Número de Segmentos Desconhecido): A contribuição mais significativa foi observada quando o número de segmentos não era conhecido de antemão (cenário mais realista).
  • O método proposto superou consistentemente a linha de base TW-FINCH (agrupamento hierárquico) em termos de F1-Score na maioria dos conjuntos de dados quando o número de segmentos era variado aleatoriamente.
  • Isso ocorre porque o método não impõe uma estrutura rígida de agrupamento, seguindo melhor a distribuição subjacente.
• Análise de Componentes:
  • A combinação de Kernel Gaussiano + NTK (Eq. 5) superou o uso de kernels individuais (apenas Gaussiano, apenas NTK, etc.).
  • A suavização temporal (hiperparâmetro $s$) mostrou-se crucial, especialmente para vídeos longos (ex: 50 Salads), melhorando significativamente a precisão (MoF).

5. Limitações e Conclusão

• Limitações:
  • O método aprende apenas um quadro sintético por ação, o que pode ser uma simplificação excessiva para ações longas e complexas.
  • Dificuldade em segmentar ações visualmente muito similares (ex: "apertar parafuso 1" vs "apertar parafuso 2" no conjunto Desktop Assembly).
  • Falha quando ações distintas são agrupadas sob um único rótulo no ground truth (ex: fundo em MPII Cooking 2).
  • Sensibilidade ao hiperparâmetro de suavização temporal.
• Conclusão: O trabalho apresenta um método simples e eficaz para segmentação de ação não supervisionada baseada em aproximação de vídeo. Ao alinhar a aproximação sintética com o vídeo original no espaço de kernel profundo, o método consegue capturar a estrutura dos dados mesmo sem grandes conjuntos de treinamento, oferecendo uma alternativa robusta e eficiente para cenários de privacidade de dados.

Código: Disponível em https://github.com/SilviaLauraPintea/video_approx.