Resumo Técnico: Pipeline Híbrido Neural-LLM para Glossagem Morfológica em Documentação de Línguas Ameaçadas

1. Problema e Contexto

A criação de Texto Glossado Interlinear (IGT) é um gargalo crítico na documentação e preservação linguística, especialmente para línguas de recursos baixos e morfologicamente ricas. O processo manual é intensivo em mão de obra e demorado. Embora modelos de linguagem grandes (LLMs) e modelos de sequência neural ofereçam novas possibilidades para automação, cada abordagem possui limitações significativas:

• Modelos Estruturados (ex: BiLSTM-CRF): Possuem viés indutivo forte para padrões locais, mas carecem de flexibilidade e conhecimento de mundo, falhando em morfemas raros ou combinações não vistas no treinamento.
• LLMs: Possuem amplo conhecimento, mas sofrem com inconsistência, exigem muitos exemplos in-context (aumentando custos de inferência) e têm dificuldade em manter a consistência paradigmática sem fine-tuning caro.

O estudo foca no Túvan Jungar, uma variedade turca de recursos baixos com morfologia aglutinante complexa, para desenvolver uma solução que mitigue essas deficiências.

2. Metodologia

Os autores propõem um pipeline híbrido de duas etapas que combina a previsão estruturada com a correção baseada em raciocínio de LLMs.

2.1. Arquitetura Híbrida

1. Etapa 1 (Previsão Inicial): Um modelo BiLSTM-CRF (Bidirectional Long Short-Term Memory com Conditional Random Field) é treinado para realizar a previsão inicial das etiquetas de glossa (segmentação e rotulagem morfológica). Este modelo captura padrões morfológicos frequentes e restrições globais.
2. Etapa 2 (Correção com LLM): As previsões do BiLSTM são tratadas como "hipóteses iniciais" e enviadas para um LLM. O LLM recebe:
   • A previsão do BiLSTM (como um rascunho a ser corrigido).
   • Exemplos recuperados (RAG - Retrieval-Augmented Generation).
   • Opcionalmente, um dicionário de morfemas.
   • Instruções para verificar e corrigir o glossado com base nos exemplos e padrões linguísticos.

2.2. Configuração Experimental

• Corpus: 895 sentenças de Túvan Jungar com anotações IGT manuais. Divisão de dados em nível de documento (85% treino, 15% teste) para evitar vazamento de informações discursivas.
• Modelos LLM Testados: Quatro modelos diferentes (deepseek-v3.2-exp, qwen3-max, gpt-4o-mini, gemma-3-27b-it).
• Estratégias de Prompting:
  • RAG vs. Aleatório: Comparação entre recuperação de exemplos baseada em similaridade (TF-IDF) e seleção aleatória.
  • Escalonamento N-Shot: Variação do número de exemplos de 1 a 20.
  • Ablação de Glossário: Teste de quatro configurações: nenhum dicionário, top-100 morfemas, todos os morfemas gramaticais e o dicionário completo.
  • Pipeline Híbrido: Avaliação da correção do LLM sobre as previsões do BiLSTM em diferentes contagens de shots.

3. Contribuições Principais

1. Arquitetura Híbrida: Apresentação de um pipeline que integra modelos de predição estruturada (BiLSTM-CRF) com raciocínio de LLMs para glossagem automática, demonstrando ganhos significativos sobre abordagens isoladas.
2. Princípios de Design Empíricos: Estabelecimento de diretrizes baseadas em dados para:
   • Recuperação: A seleção de exemplos baseada em similaridade (RAG) supera drasticamente a seleção aleatória.
   • Dicionários: O uso de dicionários de morfemas (parciais ou completos) geralmente piora o desempenho da maioria dos modelos, possivelmente devido à distração ou sobrecarga de informação no prompt.
   • Escalonamento: O desempenho escala de forma aproximadamente logarítmica com o número de exemplos, estabilizando ou declinando após 10-15 exemplos.
3. Avaliação Comparativa: Análise detalhada do desempenho entre tarefas de geração pura versus correção híbrida, fornecendo orientação para contextos de trabalho de campo.

4. Resultados Chave

4.1. Impacto do RAG e Seleção de Exemplos

• A recuperação aumentada (RAG) trouxe melhorias substanciais para todos os modelos (ex: +0,388 de acurácia para o deepseek).
• A seleção baseada em similaridade (TF-IDF) é crucial; a seleção aleatória resultou em desempenho muito baixo.

4.2. Escalonamento N-Shot

• O desempenho aumenta logaritmicamente com o número de exemplos, atingindo um platô ou declínio leve entre 10 e 15 exemplos. Adicionar mais exemplos além desse ponto não traz benefícios e pode introduzir ruído.

4.3. O Paradoxo dos Dicionários

• Resultado Surpreendente: Fornecer dicionários de morfemas (seja parcial ou completo) reduziu a acurácia para 3 dos 4 modelos testados.
• Apenas o modelo gemma-3-27b-it se beneficiou do dicionário completo.
• A hipótese é que os modelos ficam "distraídos" pelo material adicional do prompt ou têm dificuldade em equilibrar múltiplas fontes de informação (exemplos recuperados vs. dicionário estático).

4.4. Desempenho do Pipeline Híbrido

• A combinação BiLSTM + Correção LLM superou consistentemente tanto o BiLSTM puro quanto a geração pura do LLM.
• Ganhos Específicos:
  • O deepseek-v3.2-exp atingiu 0,698 de acurácia (vs. 0,474 do BiLSTM).
  • O gemma-3-27b-it atingiu 0,644.
• Análise de Erros: As melhorias foram concentradas em morfemas lexicais raros (frequência 1-5 no treino), onde o BiLSTM falhava (acurácia de 0,029) e o híbrido melhorou drasticamente (0,426). Para morfemas gramaticais frequentes, o BiLSTM já era forte, e o LLM manteve a estabilidade ou causou pequenas quedas, mas o ganho líquido foi positivo.

5. Significado e Implicações

• Soluções Leves para Documentação: O pipeline híbrido oferece uma solução computacionalmente eficiente que não requer fine-tuning massivo de LLMs, sendo acessível para linguistas de campo.
• Redução de Carga de Trabalho: A melhoria na acurácia, especialmente em itens raros, reduz significativamente a necessidade de correção manual, acelerando a documentação de línguas ameaçadas.
• Revisão de Paradigmas de Prompting: O estudo desafia a suposição comum de que "mais informações (dicionários) são sempre melhores", mostrando que a estrutura do prompt e a seleção de exemplos são fatores mais críticos.
• Divisão de Trabalho Eficaz: A arquitetura aproveita a força dos modelos estruturados para padrões frequentes e a capacidade de inferência contextual dos LLMs para lidar com lacunas lexicais e raridade.

6. Limitações

• O estudo foca em uma única língua (Túvan) e família linguística (Turca), limitando a generalização para sistemas morfológicos diferentes (ex: polissintéticos).
• O pipeline assume limites de morfemas perfeitos ("gold boundaries"), não resolvendo o problema de segmentação.
• O uso de APIs comerciais limita a transparência sobre os dados de treinamento e a contaminação de recursos linguísticos existentes.

Em conclusão, o artigo demonstra que arquiteturas híbridas, combinando modelos estruturados leves com a capacidade de raciocínio de LLMs via prompting cuidadoso (especialmente RAG e sem dicionários), representam uma direção promissora para a anotação automática em contextos de documentação linguística de recursos baixos.