Targeted Linguistic Analysis of Sign Language Models with Minimal Translation Pairs

1. Declaração do Problema

Os modelos de tradução de língua de sinais (LS) melhoraram recentemente no desempenho em tarefas como reconhecimento de sinais isolados e tradução contínua. No entanto, há uma lacuna crítica na compreensão de quão bem esses modelos capturam fenômenos linguísticos específicos inerentes às línguas de sinais.

Diferentemente das línguas faladas, as línguas de sinais dependem de múltiplos canais articulatorios:

• Manuais: Formas das mãos, movimentos e localizações.
• Não manuais: Expressões faciais (sobrancelhas, boca), movimentos da cabeça e postura corporal.

As métricas de avaliação atuais (por exemplo, BLEU, BLEURT) são medidas de similaridade global que falham em detectar se um modelo é realmente sensível a pistas linguísticas específicas (por exemplo, distinguir uma pergunta de uma afirmação baseando-se apenas em um levantamento de sobrancelha). Permanece incerto se os modelos de última geração (SOTA) utilizam pistas não manuais de forma eficaz ou se dependem desproporcionalmente de pistas manuais, potencialmente perdendo informações gramaticais cruciais codificadas no rosto e no corpo.

2. Metodologia

A. Construção do Conjunto de Dados: ASL-MTP

Os autores introduzem o ASL Minimal Translation Pairs (ASL-MTP), um conjunto de dados de referência projetado para avaliar capacidades linguísticas de granularidade fina em modelos de tradução de LS para Inglês.

• Origem: Derivado do conjunto de dados ASLLRP (2.048 enunciados em LS-AM com anotações linguísticas).
• Estrutura: Contém 1.275 pares de vídeo-frase. Para cada vídeo em LS-AM, o conjunto de dados fornece:
  1. Uma tradução Correspondente (gramaticalmente correta e semanticamente precisa em relação ao vídeo).
  2. Uma tradução Incorrespondente (inglês gramaticalmente correto, mas semanticamente incorreto em relação ao fenômeno linguístico específico no vídeo).
• Fenômenos Cobertos: O conjunto de dados visa 9 fenômenos linguísticos específicos, categorizados por suas pistas primárias:
  • Apenas Manuais: Números, Soletração com os Dedos, Classificadores.
  • Manuais + Não Manuais: Negação, Perguntas Wh (Interrogativas), Condicionais.
  • Dominantes Não Manuais: Perguntas Polares (distinguidas de declarativas apenas por levantamentos de sobrancelha).

B. Métrica de Avaliação: Análise de Surpresa

Em vez de gerar traduções completas e compará-las com referências, os autores utilizam uma análise baseada em surpresa:

1. Entrada: O modelo é condicionado ao vídeo em LS-AM ($F$).
2. Medição: O modelo calcula a probabilidade logarítmica condicional (surpresa) tanto para a frase correspondente ($a$) quanto para a frase incorrespondente ($u$).
   $$\Delta \text{Surpresa} = S(u) - S(a)$$
3. Precisão: Um modelo é considerado ter dominado um fenômeno se $\Delta \text{Surpresa} > 0$ (ou seja, se ele considera a frase incorrespondente significativamente mais surpreendente/improvável do que a correspondente). A precisão é a proporção de pares onde essa condição se mantém. O desempenho ao acaso é de 50%.

C. Modelo de Estudo de Caso: SHUBERT+ByT5

Os autores analisam o SHUBERT+ByT5, um modelo de código aberto de última geração.

• Arquitetura: SHUBERT (um codificador de vídeo auto-supervisionado treinado com 1.000 horas de LS-AM) combinado com ByT5 (um modelo de tradução de texto).
• Canais de Entrada: O codificador processa quatro canais distintos: Rosto (olhos/boca), Mão Esquerda, Mão Direita e Postura Corporal.
• Estratégia de Ablação de Pistas: Para testar a sensibilidade às pistas, os autores realizam dois tipos de ablação:
  1. Ablação no Tempo de Inferência: Mascaramento de regiões específicas (mãos, rosto, corpo) nos quadros de vídeo de entrada durante os testes.
  2. Recriação Controlada (Ablação no Tempo de Treinamento): Treinamento de novas variantes do modelo onde canais específicos são permanentemente mascarados durante a fase de treinamento para descartar efeitos de "fora da distribuição".

3. Contribuições Principais

1. Conjunto de Dados ASL-MTP: O primeiro conjunto de dados de pares mínimos especificamente projetado para tradução de língua de sinais, focando na sensibilidade específica a fenômenos em vez de qualidade geral de tradução.
2. Framework de Análise Direcionada: Uma metodologia para quantificar a sensibilidade do modelo a pistas linguísticas específicas (manuais vs. não manuais) usando diferenças de surpresa, o que é mais diagnóstico do que as pontuações padrão de BLEURT.
3. Evidência Empírica de Viés: Uma análise abrangente revelando que mesmo modelos SOTA exibem um forte viés em direção a pistas manuais e frequentemente falham em utilizar pistas não manuais críticas, apesar de serem treinados em dados multicanal.

4. Resultados Principais

Desempenho nos Fenômenos (Todas as Pistas)

• O modelo performa acima do acaso (50%) em 8 dos 11 subconjuntos (incluindo Números, Soletração com os Dedos e Perguntas Wh).
• Caso de Falha: O modelo performa significativamente abaixo do acaso em Perguntas Polares vs. Declarativas. Ele exibe um forte viés em direção à geração de frases declarativas, falhando em reconhecer que um levantamento de sobrancelha (a única pista nesses estímulos específicos) indica uma pergunta.

Achados de Ablação de Pistas

• Dependência Pesada das Mãos: Quando os canais das mãos são mascarados (condição Sem Mãos), o desempenho cai drasticamente para fenômenos pesados em pistas manuais (Números, Soletração com os Dedos, Classificadores) e frequentemente cai para níveis de acaso.
• Insensibilidade a Pistas Não Manuais:
  • Mascarar o rosto ou o corpo (Sem Rosto, Sem Corpo) tem pouco ou nenhum impacto negativo em fenômenos que teoricamente dependem deles (por exemplo, Perguntas Polares, Condicionais, Negação).
  • A precisão do modelo nesses fenômenos permanece semelhante à linha de base "Todas as Pistas", mesmo quando as pistas não manuais críticas são removidas.
  • Isso sugere que o modelo não está aprendendo a extrair informações gramaticais de movimentos faciais/corporais, mesmo quando essas pistas estão presentes durante o treinamento.

Comparação com Métricas Padrão

• BLEURT vs. Surpresa: Métricas padrão de tradução (BLEURT) falharam em detectar a insensibilidade do modelo a pistas não manuais. As pontuações BLEURT permaneceram relativamente estáveis através das ablações, enquanto a precisão baseada em surpresa mostrou degradação clara ou falta de sensibilidade. Isso confirma que métricas globais mascaram falhas linguísticas específicas.

Recriação Controlada

• Treinar modelos com canais ablatados (por exemplo, sem dados faciais durante o treinamento) não melhorou significativamente o desempenho em fenômenos não manuais em comparação com a ablação no tempo de inferência. Isso confirma que a falha em usar pistas não manuais é uma limitação fundamental da arquitetura/atual objetivo de treinamento atual, e não apenas uma questão de incompatibilidade de distribuição.

5. Significado

• Poder Diagnóstico: O artigo demonstra que métricas padrão de tradução são insuficientes para avaliar modelos de língua de sinais. A análise de pares mínimos é essencial para descobrir se os modelos realmente entendem a estrutura linguística das línguas de sinais.
• Limitações do Modelo: O estudo revela uma falha crítica nos modelos SOTA atuais: eles tratam a língua de sinais principalmente como um problema de "gesto manual", ignorando em grande parte o peso gramatical dos marcadores não manuais (expressões faciais, postura corporal).
• Direções Futuras: Os autores pedem que modelos futuros sejam explicitamente projetados para integrar pistas não manuais de forma mais eficaz. O ASL-MTP fornece um benchmark padronizado para acompanhar o progresso nessa área e incentiva o desenvolvimento de benchmarks semelhantes para outras línguas de sinais.

Em resumo, embora os modelos atuais estejam melhorando na tradução de língua de sinais, estão fazendo isso ao depender pesadamente de pistas manuais e frequentemente falhando em capturar as regras gramaticais complexas e multicanal que definem as línguas de sinais, particularmente aquelas codificadas no rosto e no corpo.