💻 computer science

CLOT: Closed Loop Optimal Transport for Unsupervised Action Segmentation

O artigo propõe o CLOT, um novo framework de segmentação de ação não supervisionado que supera as limitações de métodos anteriores de transporte ótimo ao empregar um mecanismo de aprendizado de características cíclico de múltiplos níveis para refinar conjuntamente os embeddings de quadros e segmentos por meio de atenção cruzada e problemas de transporte ótimo iterativos.

Autores originais: Elena Bueno-Benito, Mariella Dimiccoli

Publicado 2026-08-21

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Elena Bueno-Benito, Mariella Dimiccoli

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No vasto arquivo de vídeo digital, desde imagens de segurança até filmes caseiros, existe uma camada oculta de significado esperando para ser desbloqueada: a capacidade de compreender automaticamente o que está acontecendo, momento a momento. Esta tarefa, conhecida como segmentação de ação, envolve a divisão de um fluxo contínuo de vídeo em blocos distintos, cada um rotulado com uma atividade específica, como "derramar água" ou "abrir uma porta". Para que os computadores façam isso sem instrução humana, eles devem aprender a reconhecer padrões nos dados visuais por conta própria. Este é um desafio difícil porque um computador vê um vídeo não como uma história, mas como uma sequência de milhões de imagens individuais. Para dar sentido a isso, os pesquisadores frequentemente utilizam uma abordagem matemática chamada transporte ótimo. Imagine tentar combinar um monte de peças de quebra-cabeça espalhadas com um conjunto de imagens completas; o transporte ótimo fornece uma maneira de calcular o caminho mais eficiente para parear cada peça com sua imagem correta, garantindo que o arranjo final faça sentido lógico. Este método tornou-se uma ferramenta poderosa para ensinar máquinas a agrupar quadros de vídeo em ações coerentes, mas teve dificuldades em lidar com a realidade desordenada de movimentos curtos e rápidos ou em garantir que as fronteiras entre as ações fossem perfeitamente nítidas.

Uma equipe de pesquisadores do Institut de Robòtica i Informàtica Industrial em Barcelona introduziu um novo sistema chamado CLOT, que significa Closed Loop Optimal Transport (Transporte Ótimo de Ciclo Fechado), projetado para resolver essas fraquezas específicas. Enquanto métodos anteriores podiam agrupar quadros de vídeo em ações, eles frequentemente tratavam o processo como uma rua de mão única: o computador fazia uma suposição sobre a ação, e esse era o fim da linha. O CLOT muda isso ao criar um ciclo de feedback, um ciclo onde o computador constantemente verifica seu próprio trabalho e refina sua compreensão. O sistema funciona em três estágios distintos. Primeiro, ele observa quadros de vídeo individuais e os atribui a potenciais grupos de ação, criando um rascunho da linha do tempo. Segundo, ele recua para observar esses grupos como segmentos maiores, aprendendo o que uma "ação" completa parece como uma unidade inteira. Finalmente, o mais importante, ele une esses dois níveis de compreensão. Ele utiliza o conhecimento dos segmentos maiores para voltar e corrigir as atribuições iniciais dos quadros individuais. Este processo de ida e volta permite que o sistema suavize erros, garantindo que um movimento breve e fugaz não seja perdido e que a transição de uma ação para a próxima seja precisa.

Os pesquisadores testaram esta nova abordagem em quatro conjuntos diferentes de dados de vídeo, variando desde pessoas preparando o café da manhã e montando móveis até cozinhando saladas e seguindo instruções online. Nestes testes, os vídeos continham de algumas dezenas a vários milhares de quadros, e as ações variaram de processos longos e lentos a movimentos curtos e rápidos. Os resultados mostraram que o CLOT superou consistentemente os melhores métodos existentes. No conjunto de dados de preparação do café da manhã, o sistema identificou corretamente a ação em 60,1 por cento dos quadros, uma melhoria significativa em relação ao recorde anterior. Mais importante, ele se destacou ao medir a qualidade dos segmentos como um todo, alcançando uma pontuação de 40,1 em uma métrica que equilibra precisão e revocação (recall), e melhorando a precisão das fronteiras entre as ações por uma margem ampla. O sistema foi particularmente eficaz na detecção de ações de curta duração, o que anteriormente era um grande obstáculo para tecnologias semelhantes. Ao refinar as suposições iniciais com a ajuda do feedback do nível de segmento, o modelo pôde distinguir entre uma pausa momentânea e uma mudança genuína de atividade, uma distinção que modelos anteriores frequentemente perdiam.

Para entender por que isso funciona tão bem, deve-se olhar para as ferramentas específicas que os pesquisadores construíram no sistema. Eles introduziram um mecanismo que atua como um filtro, permitindo que o computador foque nos quadros mais informativos enquanto ignora as partes estáticas ou ruidosas do vídeo onde nada está acontecendo. Eles também substituíram uma forma padrão de medir a similaridade entre quadros por uma ferramenta matemática mais robusta que lida com dados de alta dimensão de forma mais eficaz, garantindo que o computador compare as características visuais de uma forma que respeite a estrutura do vídeo. A inovação central, no entanto, permanece a natureza cíclica do aprendizado. Em vez de parar após a primeira suposição, o sistema usa um mecanismo de atenção cruzada (cross-attention) para permitir que a visão do "segmento" influencie a visão do "quadro". Isso significa que, se o sistema reconhece um padrão de movimento que pertence a uma atividade específica, ele pode voltar e ajustar os rótulos dos quadros individuais dentro dessa atividade para corresponder a esse padrão mais de perto. Isso cria um loop de autocorreção que aperta as fronteiras de segmentação e produz uma linha do tempo de eventos mais limpa e precisa.

O estudo confirma que esta abordagem de múltiplos níveis não é apenas um pequeno ajuste, mas uma melhoria fundamental em como as máquinas podem aprender a ver o tempo. Os pesquisadores descobriram que remover qualquer parte deste ciclo — fosse o aprendizado do nível de segmento, a etapa de refinamento ou a forma específica como mediam as distâncias entre os quadros — levava a uma queda perceptível no desempenho. Isso sugere que a combinação desses elementos é essencial para capturar a verdadeira estrutura da atividade humana. Embora o sistema não seja perfeito e ainda enfrente desafios com ações muito raras ou ambíguas, ele representa um passo significativo à frente no aprendizado não supervisionado. Demonstra que, ao permitir que um computador revise e reformule sua própria compreensão de um vídeo, podemos alcançar um nível de detalhe e precisão que antes estava fora de alcance. Este trabalho abre as portas para aplicações mais sofisticadas em campos como análise esportiva, onde entender a sequência exata de movimentos é crítico, ou na robótica, onde uma máquina precisa entender os passos precisos de uma tarefa para replicá-la. O caminho a seguir reside em continuar a refinar esses loops, tornando a compreensão da ação humana pela máquina cada vez mais precisa e confiável.

Resumo Técnico: CLOT (Closed Loop Optimal Transport for Unsupervised Action Segmentation)

Definição do Problema

A segmentação de ações não supervisionada visa rotular cada quadro em um vídeo com sua classe de ação correspondente sem depender de dados de treinamento rotulados. Embora as abordagens tradicionais sigam um pipeline de múltiplas etapas para aprender embeddings de quadros e, em seguida, agrupá-los (clustering), métodos recentes baseados em Transporte Ótimo (OT) melhoraram o processo ao aprender representações e gerar pseudo-rótulos de forma conjunta. No entanto, métodos de estado da arte existentes, como o ASOT (Adaptive Segmentation via Optimal Transport), enfrentam limitações específicas:

Falta de Supervisão ao Nível de Segmento: O ASOT gera pseudo-rótulos, mas carece de feedback explícito entre as representações de quadros e as fronteiras de segmentos, limitando a eficácia dos loops de feedback.
Viés no Comprimento do Segmento: O ASOT impõe priors estruturais fortes que enviesam implicitamente o comprimento do segmento, tornando difícil a detecção precisa de ações de curta duração.
Desconexão de Feedback: Métodos alternativos como o HVQ (Hierarchical Vector Quantization) melhoram a detecção de ações curtas, mas carecem do feedback eficaz entre o aprendizado de representação e o agrupamento típico das formulações de OT, resultando em atribuições de agrupamento inferiores.

O desafio central abordado por este artigo é alcançar uma segmentação detalhada de alta qualidade, estabelecendo um feedback explícito entre as representações de quadros e de segmentos para garantir que os clusters aprendidos se alinhem com as verdadeiras fronteiras de segmento.

Metodologia: Estrutura CLOT

Os autores propõem o CLOT (Closed Loop Optimal Transport), um novo framework de OT que apresenta um mecanismo de aprendizado de características cíclico de múltiplos níveis. A arquitetura processa embeddings de quadros pré-computados ( $X$ ) através de três estágios distintos, resolvendo três problemas de OT separados para refinar os embeddings e os pseudo-rótulos iterativamente.

1. Componentes da Arquitetura

Encoder com Despacho de Características (Feature Dispatching): Um encoder baseado em MLP processa os quadros de entrada em embeddings de quadros ( $F$ ). Ele utiliza uma função de similaridade aprendível para despachar quadros em clusters baseando-se na similaridade, atualizando dinamicamente as representações de características para criar embeddings estruturados e conscientes do contexto.
Decoder Paralelo: Ao contrário dos decoders autorregressivos que preveem segmentos sequencialmente (propensos ao acúmulo de erro), o CLOT utiliza um decoder paralelo baseado em atenção por consulta (query-based attention). Ele transforma os embeddings de quadros ( $F$ ) em embeddings de segmento ( $S$ ) simultaneamente, resolvendo um problema de OT temporalmente consistente.
Refinamento por Cross-Attention: Um mecanismo de cross-attention integra informações intrínsecas dos embeddings de segmento ( $S$ ) e dos centros de cluster para refinar os embeddings de quadros ( $F$ ) em um conjunto refinado ( $F_R$ ). Esta etapa fecha o loop entre as representações de quadro e de segmento.

2. Formulação de Transporte Ótimo (OT)

O CLOT resolve três problemas de OT de maneira cíclica:

Estágio 1 (Quadro-para-Cluster): Resolve um problema de OT entre os embeddings iniciais de quadros ( $F$ ) e os clusters de ação ( $A$ ) para gerar pseudo-rótulos iniciais ( $T$ ).
Estágio 2 (Segmento-para-Cluster): Resolve um problema de OT entre os embeddings de segmento ( $S$ ) e os clusters de ação ( $A$ ) para gerar pseudo-rótulos de segmento ( $T_S$ ).
Estágio 3 (Quadro Refinado-para-Cluster): Resolve um terceiro problema de OT usando os embeddings de quadros refinados ( $F_R$ ) e os clusters de ação para produzir pseudo-rótulos refinados ( $T_R$ ).

A formulação de OT combina o Transporte Ótimo de Kantorovich (KOT) e o Transporte Ótimo de Gromov-Wasserstein (GWOT) para garantir consistência temporal. Crucialmente, a matriz de custo para o componente visual incorpora a distância de Sliced Wasserstein (SW) ao lado da distância de cosseno. A distância SW é usada para refinar a matriz de custo inicial, aproveitando sua eficiência e robustez em espaços de alta dimensão para capturar relações inter-quadros mais finas.

3. Objetivo de Treinamento

O modelo é treinado de forma não supervisionada. O objetivo minimiza a perda de entropia cruzada entre as probabilidades de ação previstas e os pseudo-rótulos suaves derivados das soluções de OT. A perda total é a soma das perdas de todos os três estágios:
$\mathcal{L}_{train} = \mathcal{L}(\mathbf{T}, \mathbf{P}) + \mathcal{L}(\mathbf{T}_{S}, \mathbf{P}_{S}) + \mathcal{L}(\mathbf{T}_{R}, \mathbf{P}_{R})$

Principais Contribuições

Novo Framework: Propõe o CLOT, um framework que impõe consistência ao nível de segmento através de um mecanismo de aprendizado cíclico de múltiplos níveis, permitindo segmentação detalhada e generalização entre vídeos.
Arquitetura de Loop Fechado: Introduz uma arquitetura encoder-decoder que fecha o loop entre os embeddings de quadro e de segmento. Ao utilizar cross-attention, ele refina os embeddings de quadros usando a estrutura de nível de segmento, abordando a desconexão de feedback presente em métodos de OT anteriores.
Integração de Sliced Wasserstein: Incorpora a distância de Sliced Wasserstein na computação da matriz de custo para aprimorar a matriz de custo inicial, melhorando a medição de similaridade visual em espaços de alta dimensão.
Avaliação Abrangente: Fornece experimentos extensos, estudos de ablação e resultados qualitativos em quatro conjuntos de dados de referência.

Resultados Experimentais

Os autores avaliaram o CLOT em quatro conjuntos de dados padrão: Breakfast, YouTube Instructions (YTI), 50 Salads e Desktop Assembly. O desempenho foi medido usando Mean over Frames (MoF), F1 Score e Mean Intersection over Union (mIoU) sob dois protocolos de correspondência: Activity-Level (generalização entre vídeos) e Video-Level (otimização por vídeo).

Desempenho Activity-Level: O CLOT alcançou resultados de estado da arte, superando o método anterior mais forte (ASOT) em uma média de +2,54% em MoF, +5,08% em F1 Score e +3,2% em mIoU. Notavelmente, o CLOT mostrou melhorias significativas nos F1 scores no 50 Salads e Desktop Assembly, sugerindo embeddings de ação mais descritivos.
Desempenho Video-Level: O CLOT superou o ASOT em todos os conjuntos de dados, exceto no YTI. Ele alcançou pontuações de F1 e mIoU comparáveis aos métodos projetados especificamente para segmentação de nível de vídeo (que frequentemente não generalizam entre vídeos), demonstrando sua capacidade de refinar dinamicamente as representações de ação.
Estudo de Ablação: A remoção de componentes como a distância de Sliced Wasserstein, o Feature Dispatching, o Decoder Paralelo ou o estágio de Refinamento degradou consistentemente o desempenho. Especificamente, o Decoder mostrou-se essencial para ações de curta duração, enquanto o estágio de Refinamento foi crítico para melhorar os scores de F1 e mIoU.

Significância e Alegações

O artigo afirma que o CLOT representa um avanço significativo na segmentação de ações não supervisionada ao fechar efetivamente o loop entre o aprendizado de representação e o agrupamento. Os autores argumentam que:

Aprendizado Cíclico é Essencial: O mecanismo cíclico de múltiplos níveis permite que o modelo refine pseudo-rótulos e embeddings iterativamente, garantindo que os clusters aprendidos se alinhem com as verdadeiras fronteiras de segmento.
Decodificação Paralela Previne o Desvio (Drift): Ao contrário dos modelos autorregressivos, o decoder paralelo evita a propagação de erros através das sequências, permitindo que o modelo mantenha fronteiras de ação de alta qualidade sem desvio de segmentação.
Robustez a Ações Curtas: Ao integrar o feedback de nível de segmento e evitar priors estruturais fortes que enviesam o comprimento do segmento, o CLOT melhora a detecção de ações de curta duração, uma fraqueza conhecida em métodos de OT anteriores como o ASOT.

Os autores concluem que, embora o CLOT alcance o estado da arte, o erro de rotulação de ações permanece um desafio em aberto, destacando a necessidade de novos melhorias no refinamento de pseudo-rótulos e alinhamento de segmentos. Eles posicionam o CLOT como um passo à frente no aprendizado autossupervisionado e em tarefas de predição estruturada.