Resumo Técnico: Análise de Dependência ao Longo do Espectro de Recursos

Declaração do Problema

Embora modelos baseados em transformadores tenham estabelecido desempenho de última geração na análise de dependência para idiomas de alto recurso, sua eficácia em cenários de baixo recurso permanece ambígua. Muitos idiomas, particularmente na África, possuem árvores de dependência contendo apenas centenas a alguns milhares de sentenças, um contraste gritante com as dezenas de milhares disponíveis para idiomas como o inglês. Transformadores pré-treinados geralmente exigem dados substanciais no domínio para ajuste fino eficaz, e suas demandas computacionais representam barreiras em ambientes com recursos limitados. A questão central é se arquiteturas tradicionais, especificamente analisadores baseados em LSTM, permanecem competitivos ou superiores quando os dados de treinamento são escassos, e em que volume de dados a vantagem retorna aos transformadores.

Metodologia

Dados e Idiomas

O estudo avalia o desempenho de análise em dez idiomas tipologicamente diversos, focando em idiomas africanos de baixo recurso. O conjunto de dados compreende:

• Sete idiomas africanos da coleção AfriSUD (Suaíli, Kinyarwanda, Pidgin Nigério, Wolof, Iorubá, Xhosa, Hausa) anotados no framework Universal Dependencies de Superfície-Sintática (SUD).
• Três idiomas adicionais (Francês, Romeno, Africâner) incluídos para estabelecer bases de referência de alto recurso.
• Complexidade Morfológica: Medida usando a Razão Tipo-Token de Média Móvel (MATTR) com uma janela de 500 tokens para controlar diferenças tipológicas independentes do tamanho do corpus.

Modelos Avaliados

Quatro arquiteturas foram comparadas sistematicamente:

1. LSTM Biaffine: Um analisador baseado em grafos usando codificadores BiLSTM e atenção biaffine (Dozat e Manning, 2017), servindo como base de referência primária. Utiliza embeddings estáticos do FastText.
2. Rede de Ponteiro Empilhado (Stack-Pointer): Um analisador baseado em transições usando um codificador BiLSTM-CNN e um decodificador de rede de ponteiros (Ma et al., 2018).
3. AfroXLMR-large: Um transformador multilíngue adaptado ao domínio (variante XLM-R) pré-treinado continuamente em 17 idiomas africanos.
4. RemBERT: Um codificador de transformador multilíngue projetado com embeddings de entrada/saída desacoplados para lidar com idiomas morfologicamente ricos.

Ambos os modelos de transformador foram acoplados a uma cabeça de análise biaffine e ajustados finamente de ponta a ponta.

Protocolo Experimental

• Otimização de Hiperparâmetros: Uma busca em grade foi conduzida para cada modelo, com idiomas de alto recurso subamostrados para 5.000 sentenças para viabilidade durante o ajuste.
• Treinamento: Os modelos finais foram treinados em conjuntos de dados completos com os melhores hiperparâmetros. Transformadores em idiomas de alto recurso foram limitados a 100 épocas; os demais rodaram até 1.000 (Biaffine) ou 600 (Rede de Ponteiro Empilhado) épocas com parada antecipada.
• Avaliação: O desempenho foi medido por meio da Pontuação de Anexação Rotulada (LAS) e da Pontuação de Anexação Não Rotulada (UAS) em cinco sementes aleatórias.
• Métrica: Para contabilizar dificuldades de base variáveis entre idiomas, os autores introduziram a Taxa de Erro Relativa (RER). A RER normaliza a diferença de erro entre um transformador e a base de referência LSTM Biaffine em relação ao espaço de erro remanescente ($100 - \text{LAS}_{\text{LSTM}}$). Uma RER positiva indica que o transformador incorre em mais erros que a LSTM; uma RER negativa indica que o transformador é superior.

Resultados Principais

Escalonamento de Desempenho e Ponto de Cruzamento

• Regime de Baixo Recurso: A LSTM Biaffine superou consistentemente os modelos de transformador nos idiomas de menor recurso (por exemplo, Xhosa, Wolof). Por exemplo, no Xhosa (369 sentenças de treinamento), o RemBERT sofreu uma RER significativa de +0,314 (LAS) e +0,487 (UAS), indicando taxas de erro substancialmente mais altas que a LSTM.
• Regime de Alto Recurso: Transformadores (AfroXLMR-large e RemBERT) superaram a LSTM em idiomas de alto recurso (Francês, Romeno, Africâner), mostrando valores de RER negativos.
• O Ponto de Cruzamento: A análise estatística usando modelos mistos lineares revelou uma relação negativa significativa entre o tamanho do conjunto de treinamento e a RER. O ponto de "cruzamento", onde os transformadores atingem paridade ou superam a LSTM (RER $\le$ 0), ocorre em limiares específicos:
  • AfroXLMR-large: Aproximadamente 830–840 sentenças de treinamento.
  • RemBERT: Aproximadamente 1.340–1.390 sentenças de treinamento.
  • Vários idiomas no estudo (por exemplo, Hausa, Iorubá, Wolof) ficam abaixo ou perto desses limiares, onde a LSTM permanece a escolha superior.

Complexidade Morfológica

Mesmo após controlar o tamanho do corpus, a complexidade morfológica (MATTR) emergiu como um preditor secundário significativo da desvantagem do transformador. Pontuações MATTR mais altas correlacionaram-se com deslocamentos positivos na RER (ou seja, desempenho pior do transformador em relação à LSTM).

• Este efeito foi mais pronunciado para o RemBERT do que para o AfroXLMR-large. Os autores sugerem que o pré-treinamento contínuo do AfroXLMR em texto africano mitiga parcialmente a penalidade imposta pela morfologia complexa, enquanto o RemBERT, carecendo dessa adaptação de domínio específica, luta mais com a riqueza flexional.

Desempenho da Rede de Ponteiro Empilhado

A Rede de Ponteiro Empilhado performou consistentemente abaixo em quase todos os idiomas e métricas (RER > 0), sugerindo que sua complexidade arquitetural e mecanismos de propagação de erro são contraproducentes em regimes de poucos dados.

Significado e Alegações

O artigo alega que a escassez de dados e a riqueza morfológica restringem conjuntamente a eficácia do ajuste fino de transformadores multilíngues.

1. Adequação Arquitetural: A LSTM Biaffine é mais adequada para o desenvolvimento de ferramentas sintáticas em regimes de baixo recurso (especificamente aqueles com menos de ~800–1.400 sentenças anotadas) até que dados suficientes existam para aproveitar a capacidade representacional de transformadores pré-treinados.
2. Viés Indutivo vs. Capacidade: Os resultados apoiam a hipótese de que modelos menores com viés indutivo mais forte (como LSTMs) generalizam de forma mais confiável com dados limitados, enquanto transformadores ricos em parâmetros exigem supervisão suficiente para resolver a ambiguidade de mapear representações pré-treinadas para convenções específicas de árvores de dependência.
3. Implicação Prática: Para muitos idiomas africanos sub-recurso, confiar em transformadores pode produzir analisadores subótimos em comparação com arquiteturas mais simples e estáveis. As descobertas sugerem que, para idiomas na faixa de "cruzamento", a LSTM Biaffine oferece uma base mais robusta para aplicações a jusante e desenvolvimento de árvores de dependência.

Os autores mantêm uma postura modesta, notando limitações como a lacuna distribucional nos tamanhos de amostra de idiomas (nenhum idioma na faixa de 2.000–6.000 sentenças) e os potenciais efeitos de confusão da qualidade dos embeddings de palavras e incompatibilidade de gêneros. Eles concluem que, embora analisadores imperfeitos tenham valor prático para assistência na anotação, a escolha da arquitetura deve ser ditada pelo nível específico de recursos do idioma-alvo.