What's the Point? Spatial Grammar & Index Resolution for Sign Language Processing

Resumo Técnico: Qual é o Ponto? Gramática Espacial e Resolução de Índice para o Reconhecimento de Língua de Sinais

Declaração do Problema
Os fluxos atuais de Reconhecimento de Língua de Sinais (SLR) e Tradução (SLT) dependem predominantemente de supervisão de sequência de glosas ou texto. Essa abordagem assume uma correspondência linear entre sinais e um léxico finito e discreto, modelando a língua como uma sequência de tokens lexicais. No entanto, esse framework submodela construções não lexicais e produtivas, que constituem aproximadamente 40% do discurso espontâneo sinalizado. Um caso crítico dessa lacuna é o indexação espacial (gestos de apontamento), onde os sinalizadores atribuem entidades de discurso a loci espaciais para estabelecer referência. Apesar de compreender 10–15% do conteúdo sinalizado, a indexação é mal recuperada pelos modelos de última geração treinados em objetivos lexicais. Esses modelos falham em (i) distinguir confiavelmente a indexação de sinais lexicalmente semelhantes e (ii) manter a consistência referencial entre frases, já que a indexação depende do estado do discurso e do contexto espacial, em vez de formas lexicais fixas.

Metodologia
Os autores propõem um framework modular de dois estágios para decompor a resolução de referência espacial em detecção de índice e vinculação de entidade de discurso, tratando a indexação como uma tarefa de predição estruturada, em vez de um subproduto do reconhecimento de glosas.

1. Representação de Pose: Os documentos de entrada são representados como segmentos localizados temporalmente alinhados aos limites das glosas, codificados via poses corporais e manuais (SMPL e WiLoR) usando um codificador SL-GCN.
2. Rede de Proposta de Índice (IPN): Uma cabeça de classificação leve prevê se um segmento realiza um sinal de indexação. A IPN é treinada em corpora curados linguisticamente (BSLCP, MDGS) com anotações de indexação ao nível de glosa. Para mitigar falsos positivos que se propagam para a vinculação de entidades, o modelo é otimizado para alta precisão usando perda ponderada por classe e um limiar de alta confiança ($\tau = 0.90$).
3. Memória de Vinculação de Entidade (ELM): As menções de índice detectadas são processadas sequencialmente. A ELM mantém uma memória de entidades de discurso que cresce dinamicamente. Ela projeta embeddings de segmentos em um espaço de vinculação, aumentado com características geométricas (direção do apontamento, locus espacial, trajetória). O modelo computa pontuações de compatibilidade entre a menção atual e os slots de entidades existentes (ou um slot nulo para novas entidades) usando um MLP (Perceptron Multicamadas). As representações das entidades são atualizadas via interpolação com portão (gated interpolation). A supervisão para a vinculação de entidades é gerada automaticamente usando um pipeline de LLM (Grande Modelo de Linguagem) que atribui IDs de cluster para transcrições baseando-se em restrições estruturais.
4. Integração em Tempo de Inferência: A IPN e a ELM servem como especialistas auxiliares para um modelo de SLR congelado (CSLR2). Na inferência, dois vieses são injetados:
   • Impulso de Detecção ($w_{IPN}$): Aumenta o peso do logit para tokens relacionados ao apontamento para segmentos identificados como indexação.
   • Prior de Vinculação de Entidade ($w_{ELM}$): Vicia as predições com base no token de apontamento de consenso do cluster de entidade atribuído, promovendo consistência entre menções repetidas.

Principais Contribuições

1. Demonstração Empírica de Submodelagem: Os autores mostram que, apesar de compor uma parte significativa do discurso, a indexação espacial é mal recuperada por modelos de SLR centrados no léxico (o IoU de Índice cai para 6.1% nos baselines).
2. Framework de Treinamento e Avaliação: Um framework curado para consciência de índice usando corpora de apontamento anotados manualmente e um protocolo de avaliação específico que isola o desempenho de indexação do desempenho lexical geral.
3. Abordagem de Modelagem de Dois Estágios: Um novo pipeline que separa a detecção local de índice (IPN) do rastreamento de entidade em nível de discurso (ELM), permitindo anotação automática e modelagem de estrutura não lexical.
4. Integração de Especialista Auxiliar: Um método para aumentar modelos de SLR congelados no tempo de inferência, melhorando a recuperação de indexação sem o retreinamento do backbone.

Resultados

• Desempenho Baseline: No conjunto de teste BOBSL-CSLR, o modelo baseline CSLR2 atinge uma Taxa de Erro de Palavra (WER) de 69.5% no total, mas falha em recuperar tokens de indexação, com $WER_{Index}$ atingindo 98.4% e IoU de Índice em 6.1%.
• Detecção de Índice: A IPN generaliza bem entre datasets (BSLCP e MDGS), com o treinamento conjunto melhorando a robustez. O ajuste de alta precisão reduz a dispersão lexical (classificar erroneamente sinais não-índice como apontamento).
• Vinculação de Entidade: A ELM atinge uma Precisão de Cluster de Entidade (ECA) de 0.65 nos dados de teste. Embora o treinamento conjunto melhore a estrutura do cluster, o treinamento apenas com BSLCP rendeu melhor desempenho de SLR downstream devido a um melhor alinhamento de rótulos.
• Melhoria de SLR Downstream: Integrar a IPN e a ELM como vieses de tempo de inferência reduz o $WER_{Index}$ de 96.2% para 59.6% e o $WER_{All}$ de 70.5% para 68.3%. Crucialmente, essa melhoria na recuperação de indexação não degrada o desempenho lexical ($WER_{Lex}$ permanece estável em ~77.1%).
• Taxas de Recuperação: O sistema completo aumenta a recuperação de tokens de índice da verdade fundamental de 6.1% (baseline) para 71.2%, com a ELM fornecendo ganhos consistentes sobre a detecção isolada.

Significância e Alegações
O artigo alega que a indexação espacial é uma lacuna estrutural nos atuais pipelines de SLR centrados no léxico que não pode ser resolvida simplesmente escalando modelos lexicais. Ao modelar explicitamente a indexação como um processo de dois estágios de detecção e rastreamento de discurso, os autores estabelecem uma base para a modelagem de língua de sinais consciente de índice. O trabalho demonstra que componentes conscientes do discurso podem complementar sistemas de reconhecimento existentes como especialistas auxiliares "plug-and-play", melhorando a recuperação de estruturas não lexicais sem exigir o retreinamento conjunto do backbone de reconhecimento. Os autores observam que esta abordagem aborda uma limitação estrutural específica e que trabalhos futuros devem estender este tratamento para outras construções produtivas (ex: sinais de representação/depicting signs, mudança de papel/role shift) e melhorar a supervisão de nível de discurso.

Limitações Reconhecidas
Os autores reconhecem algumas limitações:

• Mudança de Domínio (Domain Shift): Treinar em dados conversacionais de sinalizadores surdos e avaliar em transmissões interpretadas introduz mudanças no estilo do sinalizador e nos padrões referenciais.
• Qualidade de Anotação: Os rótulos da verdade fundamental em benchmarks como o BOBSL dependem de segmentação automática e podem estar incompletos, limitando a confiabilidade da avaliação quantitativa.
• Métricas de Avaliação: As métricas atuais para tokens de apontamento não referenciais ($g_{GIS}$) medem a presença do token em vez da precisão referencial, servindo como um limite inferior para o erro semântico.
• Restrições Arquiteturais: Erros de detecção surgem de oclusão e coarticulação, enquanto a vinculação de entidade depende de supervisão gerada por LLM sem sinais visuais, o que pode introduzir ruído em documentos longos. O sistema opera apenas em tempo de inferência, limitando a capacidade do backbone de aprender representações diretas conscientes de índice.