Toward Signing Activity Projection in Sign Language Interaction

Resumo Técnico: Em Direção à Projeção de Atividade de Sinalização na Interação em Língua de Sinais

Definição do Problema
Os robôs sociais carecem atualmente de capacidades de interação robustas com usuários que dependem de modalidades de comunicação que não sejam a fala, como a língua de sinais. Existe uma lacuna crítica na alternância de turnos preditiva para interações em língua de sinais. Embora a Projeção de Atividade de Voz (VAP - Voice Activity Projection) tenha modelado com sucesso a atividade de voz futura para apoiar tarefas de alternância de turnos (por exemplo, determinar se um falante manterá o turno ou o transferirá para um interlocutor) no diálogo falado, permanece incerto se este arcabouço se transfere para a língua de sinais. As interações em língua de sinais dependem de pistas visuais específicas da modalidade (movimentos das mãos, olhar, expressões faciais) em vez de áudio, e as definições de "atividade" e limites de turno derivadas do discurso padrão podem não ser diretamente aplicáveis.

Metodologia
Este estudo apresenta um experimento inicial de transferência adaptando a arquitetura VAP para a interação diádica em língua de sinais utilizando o Public DGS Corpus.

• Dados e Rótulos de Proximidade (Proxy Labels): Os autores utilizaram o subconjunto de diálogos etiquetados do Public DGS Corpus, que inclui keypoints 2D baseados em OpenPose e anotações manuais de segmentos lexicais de sinalização. Em vez de utilizar anotações complexas de unidades de enunciados, o estudo construiu fluxos binários de "atividade de sinalização" ao realizar a união de todos os segmentos de sinais lexicais anotados. Um quadro (frame) foi rotulado como ativo se estivesse contido em qualquer segmento anotado.
• Recursos de Entrada (Input Features): O modelo utilizou recursos visuais derivados de pose extraídos para cada sinalizador, especificamente:
  • Keypoints das mãos.
  • Keypoints da região dos olhos.
  • Keypoints da região da boca.
    Valores ausentes foram substituídos por zeros e os dados foram reamostrados para 30 fps.
• Arquitetura do Modelo: Os autores adotaram a formulação original da VAP, substituindo o codificador de áudio por um codificador de pose. A arquitetura consiste em:
  • Codificadores de Keypoints: Projeções lineares específicas da modalidade que mapeiam os recursos brutos para embeddings de 256 dimensões.
  • Transformer de Autoatenção (Self-Attention Transformer): Uma camada que modela o fluxo de pose de cada sinalizador separadamente.
  • Transformer de Atenção Cruzada (Cross-Attention Transformer): Três camadas que realizam atenção cruzada sobre os fluxos codificados de ambos os sinalizadores.
  • Cabeças de Predição (Prediction Heads): Uma cabeça para o estado de atividade futura de 256 classes (prevendo o estado conjunto de dois sinalizadores ao longo de quatro intervalos de tempo futuros) e uma para detecção de atividade por sinalizador.
• Tarefas: O estudo formulou duas tarefas de proximidade baseadas nos fluxos binários de atividade:
  1. SHIFT/HOLD (Troca/Manutenção): Prever se, após a inatividade mútua, o mesmo sinalizador retoma o turno (HOLD) ou se o turno passa para o outro (SHIFT).
  2. SHIFT-prediction (Predição de Troca): Prever se uma atividade em curso tem probabilidade de ser seguida por uma troca de turno nos próximos 600 ms.
• Treinamento e Avaliação: Os modelos foram treinados em janelas de 20 segundos usando AdamW. O desempenho foi avaliado por meio de acurácia balanceada e escores F1 macro, com resultados calculados pela média de 20 sementes aleatórias.

Principais Resultados
Os experimentos geraram as seguintes descobertas em relação às contribuições das modalidades e à dificuldade das tarefas:

• Predição de SHIFT/HOLD: Modelos que incorporam pistas das mãos superaram consistentemente o baseline constante (que sempre prevê HOLD). Configurações apenas com as mãos alcançaram a maior acurácia balanceada média (0,646) e F1 macro (0,501). Adicionar pistas dos olhos ou da boca às pistas das mãos não melhorou consistentemente o desempenho em relação às entradas apenas das mãos.
• SHIFT-prediction: Todos os modelos aprendidos superaram o baseline constante. Curiosamente, a configuração apenas com os olhos alcançou os maiores escores (acurácia balanceada de 0,558), embora a margem sobre outras configurações tenha sido pequena.
• Fusão de Modalidades: Combinar múltiplas modalidades (mãos, olhos, boca) não resultou consistentemente em melhores resultados do que as entradas de modalidade única, sugerindo potenciais problemas com ruído em keypoints não manuais ou uma incompatibilidade entre os rótulos de proximidade e os eventos interacionais granulares.

Significância e Alegações
O artigo afirma fornecer evidências iniciais tanto sobre a promessa quanto sobre as limitações atuais de transferir modelos de alternância de turnos preditiva da fala para a interação em língua de sinais.

• Promessa: O estudo demonstra que a modelagem de alternância de turnos preditiva é viável para a língua de sinais quando se utilizam pistas visuais derivadas de pose, particularmente movimentos das mãos para estimativa local do estado do turno (SHIFT/HOLD).
• Limitações: Os autores enfatizam que o sucesso atual é limitado pelo uso de rótulos de "proximidade" derivados de anotações de sinais lexicais. Esses rótulos alinham-se naturalmente com a atividade manual, mas podem não capturar comportamentos não manuais (ex: olhar, acenos de cabeça) que são cruciais para a alternância de turnos na língua de sinais. Consequentemente, a dificuldade na SHIFT-prediction sugere que as definições de eventos atuais derivadas da fala e os fluxos binários de atividade são insuficientes para capturar a plena complexidade da alternância de turnos na língua de sinais.
• Conclusão: Os autores concluem que, embora o arcabouço VAP possa ser parcialmente transferido, a modelagem preditiva eficaz para a interação em língua de sinais requer definições de eventos específicas da língua de sinais que vão além das categorias derivadas da fala e incorporem representações multimodais mais ricas de fronteiras interacionais.