💻 computer science

SignMAE: Segmentation-Driven Self-Supervised Learning for Sign Language Recognition

SignMAE introduz um método de pré-treinamento auto-supervisionado orientado por segmentação que utiliza mascaramento baseado em segmentação para capturar melhor pistas manuais de alta granularidade, alcançando desempenho de última geração em múltiplos conjuntos de dados de língua de sinais com requisitos de entrada reduzidos.

Autores originais: Kunyuan Xie, Zhixi Cai, Kalin Stefanov

Publicado 2026-05-05

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Kunyuan Xie, Zhixi Cai, Kalin Stefanov

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine tentar aprender uma língua onde você não consegue ouvir uma palavra, mas precisa entender cada pequeno movimento das mãos, do rosto e do corpo de alguém. Isso é o Reconhecimento de Língua de Sinais. O desafio é que as "palavras" (sinais) são frequentemente feitas por mãos movendo-se de maneiras muito específicas e sutis, enquanto o restante do vídeo é apenas ruído de fundo, como uma parede, uma camisa ou um cômodo.

A maioria dos programas de computador que tentam aprender essa língua é como estudantes que tentam ler um livro inteiro para entender uma única frase. Eles observam todo o quadro do vídeo, distraídos pelo fundo, e frequentemente perdem os pequenos movimentos cruciais das mãos que realmente carregam o significado.

O artigo apresenta um novo método chamado SignMAE. Pense nele como um tutor inteligente que ensina um computador a focar apenas nas mãos, ignorando o resto do mundo.

Veja como o SignMAE funciona, dividido em etapas simples:

1. Preparação do "Holofote" (Pré-processamento de Dados)

Antes do computador começar a aprender, o sistema age como um gerente de palco. Ele analisa o vídeo e pergunta: "Onde estão as mãos?"

Se as mãos da pessoa estiverem apenas penduradas ao lado do corpo (não sinalizando), o sistema remove esses quadros.
Em seguida, ele dá zoom e destaca os trechos específicos do vídeo onde as mãos e os braços estão se movendo.
A Analogia: Imagine um professor tirando uma foto desfocada de uma sala de aula, recortando as carteiras e os rostos dos alunos e colando-os em uma nova folha de papel para que o estudante possa estudar apenas os rostos, ignorando as carteiras bagunçadas ao fundo.

2. Treinamento com "Venda nos Olhos" (Aprendizado Auto-supervisionado)

Esta é a magia central do artigo. O sistema usa uma técnica chamada Codificação Automática Mascarada.

O Jogo: O computador vê um vídeo de alguém sinalizando, mas partes do vídeo estão cobertas por uma "venda nos olhos" (mascaradas).
A Tarefa: O computador precisa adivinhar o que está sob a venda com base no que consegue ver.
O Twist: Nos métodos antigos, a venda era colocada aleatoriamente. Às vezes cobria as mãos; às vezes cobria a parede vazia. Isso era ineficiente.
Estratégia do SignMAE: A venda é inteligente. Ela é guiada pelo mapa de segmentação. Ela cobre especificamente as mãos e os braços, forçando o computador a deduzir a forma e o movimento da mão com base no contexto das outras partes visíveis.
- Analogia: Imagine um quebra-cabeça onde as peças das "mãos" estão faltando. Um solucionador de quebra-cabeças padrão poderia adivinhar aleatoriamente. O SignMAE força o solucionador a olhar para as pistas restantes do braço e do corpo para deduzir exatamente como é a peça faltante da mão. Isso ensina o computador a entender a relação entre as mãos e o corpo.

3. Duas Lentes Diferentes (Aprendizado Multi-stream)

O SignMAE não usa apenas uma maneira de olhar para o vídeo. Ele treina dois "cérebros" (codificadores) diferentes simultaneamente:

O Cérebro "Global": Este olha para o vídeo inteiro com uma venda aleatória. Ele aprende o panorama geral: o fluxo geral do movimento e o contexto de fundo.
O Cérebro "Focado nas Mãos": Este usa a venda inteligente guiada pelas mãos. Ele aprende os pequenos movimentos detalhados dos dedos e pulsos.
O Cérebro "Esqueleto": Este olha para um mapa simplificado das articulações (pontos-chave) em vez dos pixels brutos do vídeo. Ele foca puramente na geometria do movimento.

4. O "Huddle da Equipe" (Fusão)

Uma vez que esses cérebros são treinados separadamente, eles são reunidos.

O sistema congela seu conhecimento para que não esqueçam o que aprenderam.
Em seguida, usa um mecanismo de Atenção Cruzada. Pense nisso como um huddle de equipe onde o "Cérebro Global" pergunta ao "Cérebro Focado nas Mãos": "O que exatamente aquele dedo estava fazendo?" e o "Cérebro Esqueleto" intervém dizendo: "A articulação moveu-se desta maneira."
Eles combinam suas respostas para tomar uma decisão final sobre qual sinal foi realizado.

Os Resultados: Por Que Isso Importa

Os autores testaram isso em três grandes conjuntos de dados de língua de sinais (Americana, Chinesa e Russa).

Melhor Precisão: O SignMAE alcançou os melhores resultados (Estado da Arte) comparado a métodos anteriores.
Eficiência: Funciona melhor mesmo usando menos quadros de vídeo (32 quadros em vez de 64) e menos tipos de dados (apenas vídeo e mapas de mãos, sem precisar de sensores extras como câmeras de profundidade).
Foco: Visualizações mostraram que, enquanto os modelos antigos se distraíam com o fundo ou com o rosto do sinalizador, o SignMAE manteve sua atenção firmemente travada nas mãos, exatamente onde a língua é falada.

Em resumo: O SignMAE é uma nova maneira de ensinar computadores a língua de sinais, forçando-os a ignorar o fundo e jogar um jogo de "preencher as lacunas" focado especificamente nas mãos. Isso ajuda-os a aprender os detalhes sutis e de alta granularidade da língua de sinais muito mais rápido e com mais precisão do que antes.

Resumo Técnico: SignMAE

Declaração do Problema

O Reconhecimento de Sinais Isolados em Língua de Sinais (ISLR) enfrenta desafios significativos devido às sutis diferenças visuais entre os sinais, onde as mãos — que carregam o sinal linguístico primário — ocupam apenas uma pequena porção do quadro de vídeo. Os métodos existentes frequentemente dependem de codificadores pré-treinados em conjuntos de dados genéricos de reconhecimento de ações (por exemplo, VideoMAE), que tratam o quadro inteiro de forma uniforme. Essa abordagem falha em capturar efetivamente pistas manuais de alta granularidade, porque estratégias de mascaramento aleatório frequentemente amostram regiões de fundo em vez de áreas linguisticamente salientes das mãos e braços. Além disso, embora existam métodos baseados em esqueleto, eles frequentemente sofrem com erros de detecção de pontos-chave e carecem de detalhes visuais de alta granularidade, enquanto métodos baseados em vídeo tipicamente subestimam as mãos, apesar de sua importância.

Metodologia

Os autores propõem o SignMAE, um framework de aprendizado auto-supervisionado orientado por segmentação, projetado para aprender representações complementares centradas nas mãos a partir de vídeo e pontos-chave. O pipeline consiste em quatro etapas sequenciais:

1. Pré-processamento de Dados

Para maximizar a relação sinal-ruído, o framework padroniza vídeos brutos e extrai regiões relevantes:

Recorte: Um modelo de detecção identifica a caixa delimitadora do sinalizador para recortar os quadros.
Filtragem de Quadros: Quadros onde as mãos estão penduradas naturalmente ou ausentes são removidos com base em parâmetros geométricos (ângulos e distâncias ombro-cotovelo-punho).
Extração de Patches: O vídeo é dividido em patches espaço-temporais ( $2 \times 16 \times 16$ ), com foco na extração de "patches importantes" contendo mãos.

2. Pré-treinamento Auto-supervisionado Multi-stream

O SignMAE emprega uma arquitetura de três fluxos onde os codificadores são pré-treinados independentemente para aprender vieses indutivos distintos:

Codificador de Vídeo (Mascaramento de Tubo): Pré-treinado usando mascaramento aleatório de tubos (abordagem padrão do VideoMAE) para capturar contexto global de baixa granularidade e padrões de movimento de longo alcance.
Codificador de Vídeo (Mascaramento Guiado por Mão): Pré-treinado usando uma estratégia de mascaramento espaço-temporal baseada em segmentação. Este codificador foca exclusivamente na reconstrução de regiões de mãos e braços. A estratégia de mascaramento adapta-se ao tipo de sinal:
- Sinais com duas mãos: Mascaramento espacial direcional é aplicado com base nas taxas de sobreposição das mãos para evitar vazamento de informação.
- Sinais com uma mão: O braço estático é preservado enquanto a mão em movimento é mascarada direcionalmente.
- Mascaramento temporal: Quadros consecutivos no meio da sequência são removidos para forçar a inferência de trajetórias de movimento.
Codificador de Mapa de Calor de Pontos-chave: Pré-treinado de forma semelhante ao codificador de vídeo guiado por mão, mas restrito apenas a regiões das mãos, enfatizando trajetórias de articulações sobre a aparência de pixels.

O objetivo é uma tarefa de mascaramento e reconstrução onde o decodificador reconstrói apenas os tokens mascarados (regiões de mão/braço para vídeo, regiões de mão para pontos-chave) usando a perda de Erro Quadrático Médio (MSE).

3. Ajuste Fino Unimodal

Os decodificadores de reconstrução são substituídos por cabeças de classificação lineares leves. Os dois codificadores de vídeo e o codificador de pontos-chave são ajustados finamente separadamente na tarefa de ISLR usando mixup em modo de lote para gerar rótulos suaves.

4. Fusão Multimodal

Os codificadores pré-treinados são congelados e suas representações são fundidas usando um mecanismo de atenção cruzada:

Fusão Vídeo-Vídeo: Tokens do codificador mascarado por tubo atuam como consultas, enquanto tokens do codificador guiado por mão servem como chaves e valores.
Fusão Vídeo-Pontos-chave: Os tokens de vídeo fundidos resultantes atuam como consultas, enquanto os tokens de mapa de calor de pontos-chave servem como chaves e valores.
O vetor de características concatenado final é passado para uma cabeça de previsão para classificação de gloss.

Contribuições Principais

Framework SignMAE: Um framework auto-supervisionado que aprende representações complementares centradas nas mãos a partir de vídeo e pontos-chave especificamente para ISLR.
Mascaramento Orientado por Segmentação: A introdução de estratégias de mascaramento que reconstruem apenas tokens de região de mão durante o pré-treinamento. Isso força os codificadores a focarem em informação linguisticamente saliente em vez de ruído de fundo, abordando a ineficiência do mascaramento aleatório de tubos em contextos de língua de sinais.
Desempenho State-of-the-Art: Validação em três conjuntos de dados principais (WLASL, NMFs-CSL e Slovo) demonstrando precisão aprimorada com menos quadros de entrada e modalidades em comparação com métodos anteriores.

Resultados Experimentais

Os autores avaliaram o SignMAE em três conjuntos de dados:

WLASL (2.000 glosses): Alcançou 60,95% de precisão Top-1 por instância e 58,29% de precisão Top-1 por classe. Isso supera o state-of-the-art anterior (SAM-SLR-v2) em 1,56% e 1,66% respectivamente, apesar de usar apenas clipes de 32 quadros e menos modalidades (vídeo + pontos-chave vs. vídeo + pontos-chave + fluxo óptico + profundidade).
NMFs-CSL (Língua de Sinais Chinesa): Alcançou 80,8% de precisão Top-1, superando o melhor anterior (MASA) em 0,7%.
Slovo (Língua de Sinais Russa): Alcançou 76,86% de precisão Top-1, melhorando o melhor anterior em 0,33%.

Estudos de Ablação confirmaram que:

O mascaramento espaço-temporal guiado por mão supera significativamente o mascaramento aleatório de tubos e estratégias de reconstrução de quadro inteiro.
O desempenho escala com o volume de dados de pré-treinamento.
A fusão multimodal via atenção cruzada produz a maior precisão, confirmando que a aparência do vídeo e o movimento dos pontos-chave fornecem pistas complementares.
Visualizações mostram que o codificador guiado por mão atende mais fielmente às mãos em contextos de sinalização estáticos e dinâmicos em comparação com codificadores mascarados por tubo.

Significância

O artigo afirma que o SignMAE aborda a ineficiência fundamental do pré-treinamento de reconhecimento de ações genérico para língua de sinais. Ao localizar explicitamente regiões das mãos durante o pré-processamento e guiar o processo de aprendizado auto-supervisionado com pistas de segmentação, o método aprende representações que capturam a aparência de alta granularidade e padrões de movimento únicos da língua de sinais. Os autores enfatizam que essa abordagem permite um desempenho forte com uma configuração mais leve (menos quadros e modalidades) do que métodos concorrentes, validando que um foco em regiões linguisticamente informativas é crítico para avançar o ISLR.