Resumo Técnico: CommonMorph – Plataforma de Documentação Morfológica Participativa

1. Problema e Motivação

A documentação e análise morfológica de línguas, especialmente as de baixo recurso e em risco de extinção, enfrenta barreiras significativas:

• Alto Custo de Mão de Obra: A coleta e anotação de dados morfológicos exigem expertise linguística, rigor metodológico e recursos substanciais. Métodos tradicionais baseados em transdutores de estado finito (FSTs) são intensivos em trabalho manual e difíceis de escalar.
• Falta de Dados Anotados: Abordagens modernas orientadas por dados (como modelos neurais) dependem de grandes volumes de dados anotados, que raramente existem para línguas minoritárias. Projetos existentes, como o UniMorph, cobrem menos de 2,5% das línguas do mundo e sofrem com processos de validação limitados e manutenção custosa.
• Desconexão entre Especialistas e Comunidades: A documentação tradicional frequentemente isola linguistas das comunidades falantes, dificultando a validação comunitária e a propriedade compartilhada dos dados.
• Subutilização de Variedades Relacionadas: A maioria das línguas pertence a famílias com padrões morfológicos, fonológicos e lexicais compartilhados, mas as ferramentas atuais raramente permitem reutilizar dados de variedades relacionadas para acelerar a documentação.

2. Metodologia e Arquitetura do Sistema

O CommonMorph é uma plataforma web de código aberto projetada para criar um ecossistema colaborativo entre linguistas e falantes nativos. O fluxo de trabalho segue uma abordagem de três níveis:

A. Papéis de Usuário e Interface

1. Linguistas (Especialistas):
   • Definem a estrutura inicial: paradigmas, classes de flexão, entradas lexicais (lemas) e regras morfofonológicas.
   • Podem importar e adaptar materiais de línguas relacionadas para reduzir redundância.
   • Projetam modelos de perguntas (templates) em linguagem natural para guiar falantes não especialistas.
   • Supervisionam a qualidade e resolvem conflitos.
2. Falantes (Comunidade):
   • Falantes Especialistas: Preenchem tabelas de paradigmas completas ou parciais.
   • Falantes Não Especialistas: Respondem a prompts simplificados (ex: "Como você diz 'andar' para mais de uma pessoa agora?") para fornecer formas flexionadas, sem necessidade de terminologia linguística.
   • Validam e corrigem sugestões do sistema e entradas de outros falantes.

B. Mecanismos de Aprendizado Ativo e Sugestão

O sistema utiliza um pipeline de previsão dinâmico que evolui conforme os dados aumentam:

1. Cold Start (Início Frio): Baseia-se exclusivamente em padrões definidos pelo linguista e regras morfofonológicas para gerar sugestões iniciais.
2. Modelo Neural: À medida que dados validados acumulam, um modelo de rede neural (LSTM de 2 camadas) é treinado para prever formas flexionadas. O sistema usa Active Learning para priorizar a anotação de formas "mais informativas" (alta incerteza).
3. Integração com LLMs: Para preencher lacunas onde os modelos neurais ainda têm poucos dados, o sistema utiliza Grandes Modelos de Linguagem (LLMs) via API (ex: Gemini, GPT) com few-shot prompting, usando exemplos validados como contexto.
4. Apresentação em Ensemble: As sugestões de regras, modelos neurais e LLMs são agregadas. Convergências são apresentadas com alta confiança; divergências geram listas de múltipla escolha para validação humana.

C. Design Técnico

• Backend/Frontend: Aplicação web .NET com banco de dados PostgreSQL.
• Modelo de Aprendizado: LSTM simples (dimensões de 128), treinado em CPU em ~1 minuto por 15 épocas, permitindo experimentação rápida em ambientes de baixo recurso.
• Offline First: Funcionalidade para imprimir tabelas vazias para preenchimento offline em áreas remotas, com posterior sincronização.
• Interoperabilidade: Exportação de dados em formatos padrão (TSV, compatível com UniMorph).

3. Contribuições Principais

1. Plataforma Colaborativa Unificada: Primeiro sistema a integrar fluxos de trabalho estruturados de linguistas e falantes em um ambiente digital remoto, facilitando a validação comunitária.
2. Suporte a Diversidade Tipológica: O sistema lida com morfologias fusional (ex: Espanhol, Curdo), aglutinante (ex: Turco) e de raiz e padrão (ex: Árabe), permitindo múltiplos stems e regras complexas.
3. Reutilização Cruzada de Línguas: Mecanismo para importar e adaptar dados de variedades relacionadas, acelerando a documentação de línguas com poucos recursos.
4. Hibridização de Métodos: Combina conhecimento linguístico explícito (regras) com aprendizado de máquina (redes neurais e LLMs) para superar o problema de "dados zero" ou "poucos dados".
5. Acessibilidade e Inclusão: Interface adaptativa que permite a participação de falantes sem treinamento linguístico formal, promovendo a apropriação comunitária dos dados.

4. Resultados e Avaliação

Os autores realizaram estudos de caso em diversas famílias linguísticas (Indo-europeia, Semítica, Bantu, Turca) e avaliaram o sistema através de métricas de precisão e pesquisa com usuários.

• Precisão das Sugestões (CER - Taxa de Erro de Caracteres):
  • Para variedades sem dados prévios (ex: Curdo Hawrami), os padrões definidos por linguistas reduziram drasticamente o CER (de ~12% para ~5% no Hawrami).
  • O treinamento de modelos neurais com dados adicionais reduziu consistentemente o erro (ex: no Turco, de 31% para 3% com 1000 amostras).
  • LLMs com few-shot prompting (2-3 exemplos) mostraram desempenho competitivo, especialmente em línguas bem documentadas, mas enfrentaram desafios com dados diacríticos (ex: Árabe).
• Pesquisa de Usuários:
  • Satisfação: Média superior a 4,7/5 para linguistas e falantes.
  • Facilidade de Uso: Falantes relataram uma curva de aprendizado muito curta (8,7 minutos) comparada a linguistas (17,3 minutos).
  • Valor Pedagógico: Ambos os grupos concordaram que a plataforma ajuda a entender a estrutura da língua, servindo também como ferramenta de aprendizado.
  • Tempo de Contribuição: Falantes dedicaram significativamente mais tempo à documentação (média de 4,1 horas) do que linguistas (1,0 hora), validando o modelo de participação comunitária.

5. Significado e Impacto

O CommonMorph representa um avanço significativo na documentação linguística ao:

• Escalabilidade: Oferecer um modelo replicável para documentar centenas de línguas subdocumentadas, reduzindo a dependência de trabalho manual intensivo.
• Preservação de Diversidade: Facilitar a criação de recursos digitais para línguas ameaçadas, permitindo que comunidades locais participem ativamente da preservação de sua herança linguística.
• Avanço em NLP de Baixos Recursos: Demonstrar como a combinação de conhecimento de especialistas com IA generativa e preditiva pode superar a escassez de dados, criando datasets de alta qualidade compatíveis com ferramentas modernas de Processamento de Linguagem Natural (PLN).
• Ética e Inclusão: Ao priorizar a validação comunitária e o acesso aberto, o projeto alinha-se com os princípios de "Nada sobre nós sem nós", garantindo que os dados pertencem e beneficiam as comunidades falantes.

Em suma, o CommonMorph não é apenas uma ferramenta de anotação, mas um ecossistema que democratiza a documentação linguística, tornando-a mais eficiente, precisa e socialmente justa.