Resumo Técnico: Uma Fundação Pāṇiniana para o Processamento de Línguas Indic

1. Declaração do Problema

A infraestrutura atual de Processamento de Linguagem Natural (PLN) para as línguas indicas (faladas por mais de um bilhão de pessoas) é criticamente subdesenvolvida e estruturalmente fragmentada. O campo organiza atualmente ferramentas, conjuntos de dados e benchmarks em torno de famílias linguísticas genealógicas ou línguas individuais, o que leva a:

• Engenharia Redundante: Analisadores morfológicos, parsers e conjuntos de dados anotados são construídos separadamente para cada língua, muitas vezes do zero.
• Esquemas Incompatíveis: Os padrões de anotação (ex: Universal Dependencies) não mapeiam efetivamente as categorias gramaticais profundas usadas nas línguas indicas, causando conversões com perda de informação e impedindo a transferência translingual.
• Modelos Multilíngues Ineficazes: Embora os modelos massivamente multilíngues (MLLMs) alcancem uma cobertura ampla, eles otimizam a fluência em vez da compreensão morfossintática profunda. Eles dependem de sinais superficiais (subpalavras, vocabulário compartilhado) em vez da unidade estrutural subjacente, o que leva ao baixo desempenho em línguas de baixos recursos e à incapacidade de lidar com variações dialetais ou de registro (diglossia).
• Desajuste Semântico: Os frameworks de PLN padrão, enraizados em pressupostos linguísticos ocidentais, tratam substantivos como entidades estáticas. Isso falha em capturar a ontologia orientada a processos das línguas indicas, onde o significado nominal é derivacionalmente enraizado em raízes verbais (dhātu) e organizado em torno de estruturas de eventos.

A questão central é a negação de uma regularidade arquitetônica profunda e compartilhada: mais de dois mil anos de convergência em torno do sânscrito unificaram as línguas indicas sob um arcabouço morfossintático comum formalizado na Aṣṭādhyāyī de Pāṇini. As ferramentas atuais ignoram este "comum estrutural", tratando as línguas como entidades díspares em vez de variações de uma metalinguagem compartilhada.

2. Metodologia e Estrutura Teórica

O artigo propõe a mudança do paradigma computacional da classificação genealógica para um arcabouço Pāṇiniano. Esta abordagem trata a Aṣṭādhyāyī não meramente como uma gramática histórica, mas como uma arquitetura computacional unificadora.

• A Arquitetura Pāṇiniana: Os autores argumentam que o sistema de Pāṇini fornece uma metalinguagem formal que define o "sistema operacional" do discurso sul-asiático. Características principais incluem:
  • Determinismo: Ao contrário dos formalismos chomskyanos que exigem desambiguação estatística, os mecanismos de precedência de regras de Pāṇini garantem uma única derivação para cada sentença gramatical, evitando a supergeração.
  • Unidade Funcional: Captura semelhanças funcionais e arquitetônicas (morfologia, sintaxe, semântica) que transcendem fronteiras genealógicas (ex: entre línguas indo-arianas e dravídicas).
  • Semântica Orientada a Processos: Modela substantivos como papéis dentro de estruturas de eventos implícitas (kāraka), em vez de rótulos estáticos.
• Alavancagem de Sinais Existentes: A metodologia baseia-se na observação de que a transferência translingual já é mais forte dentro das línguas indicas do que entre línguas indicas e não-indicas, sugerindo que os modelos aprendem implicitamente essa estrutura compartilhada. O artigo argumenta por tornar esse aprendizado implícito explícito através de benchmarks fundamentados.
• Design de Benchmark: Em vez de propor novos modelos, o artigo propõe um conjunto de quatro partes de benchmarks projetado para tornar a arquitetura compartilhada explícita, mensurável e explorável. Estes benchmarks são desenhados para serem multilíngues desde a base, indo além de extensões ad-hoc de recursos de línguas únicas.

3. Contribuições Principais

A principal contribuição do artigo é a proposta de uma infraestrutura de avaliação unificada consistindo em quatro clusters temáticos de benchmarks:

5.1 Segmentação Morfológica e Tagging

• Objetivo: Decompor palavras em raízes Pāṇinianas (dhātu) e afixos (pratyaya, lakāra) e interpretar suas funções semânticas.
• Escopo: Estende os benchmarks existentes de sânscrito (ex: MorphTok) para as línguas indicas modernas.
• Tarefas:
  • Segmentação e tagging multilíngue.
  • Fundamentação etimológica: Identificar a raiz sânscrita de uma palavra moderna de uma língua indica e seu significado central.
  • Desambiguação de sentido de palavra translingual baseada em fundamentação etimológica.

5.2 Parsing Sintático via Dependências Pāṇinianas

• Objetivo: Criar um parser de dependência multilíngue unificado fundamentado em relações de kāraka (caso semântico) em vez de Universal Dependencies.
• Escopo: Constrói sobre o projeto AnnCorra e esforços iniciais de dependência universal Pāṇiniana.
• Tarefas: Construção ou conversão de treebanks de dependência para múltiplas línguas indicas usando rótulos Pāṇinianos e avaliação de parsers treinados sob este esquema unificado contra baselines específicas de cada língua.

5.3 Role Labeling Semântico (SRL) e Inferência

• Objetivo: Avaliar a compreensão semântica através de registros (literário vs. coloquial) e dialetos.
• Escopo: Estende o trabalho fundamentado em kāraka de Question Answering (QA) para entailment e inferência.
• Tarefas:
  • Adaptação de Registro: Modelos devem preservar o conteúdo semântico enquanto traduzem entre formas literárias e coloquiais (ex: Hindi sánscritizado vs. Khariboli).
  • Robustez Dialetal: Testar o desempenho através de continos dialetais (ex: variações de Tamil ou Bengali) onde a fonologia superficial difere, mas os templates morfossintáticos permanecem invariantes.
  • Generalização de Code-Mixing: Lidar com mudanças sociolinguísticas de texto formal para fala informal.

5.4 O "Sprachbund" Indic Estendido e Desordem de Informação

• Objetivo: Testar os limites da unidade estrutural do arcabouço Pāṇiniano e aplicar a desafios sociais.
• Escopo:
  • Extensão Linguística: Avaliar a transferência para variedades da diáspora (ex: Fiji Hindi), línguas conservadoras (ex: Romani) e línguas conectadas por influência civilizatória em vez de genealogia (ex: Tibetano, Tailandês, Birmanês) que compartilham escritas e taxonomias fonológicas, mas carecem do substrato morfossintático completo.
  • Desordem de Informação: Desenvolver benchmarks para detectar desinformação translingual. Os modelos devem identificar alegações semanticamente equivalentes através de línguas e registros, rastreando como as narrativas mutam enquanto permanecem rastreáveis a um substrato semântico compartilhado.

4. Resultados e Evidências

O artigo não apresenta novos resultados experimentais de um único modelo, mas sintetiza evidências empíricas da literatura existente para apoiar a hipótese Pāṇiniana:

• Transfer Learning: Estudos (Bafina et al., Nag et al.) mostram que a transferência translingual é significativamente mais forte entre línguas indicas do que entre línguas indicas e não-indas, mesmo controlando diferenças de escrita.
• Análise Morfológica: Modelos baseados em princípios Pāṇinianos (ex: MorphTok) mostram melhorias nos processos de tradução automática e reconhecimento de entidades nomeadas.
• Parsing Sintático: A incorporação de relações de kāraka mostrou melhorias imediatas no QA de línguas indicas em comparação com Universal Dependencies.
• Eficiência de Dados: Pesquisas (Chang et al.) indicam que adicionar dados multilíngues estruturalmente alinhados melhora o modelagem de baixos recursos de forma mais eficaz do que simplesmente escalar o volume de dados, sugerindo que o "núcleo estrutural" é o principal motor de desempenho.
• Convergência Histórica: Evidências de gramáticos tamis (ex: Tolkāppiyam, Vīracōl̲iyam) demonstram que categorias estruturais similares às de Pāṇini foram descobertas independentemente dentro das tradições dravídicas, confirmando que a unidade arquitetônica não é apenas um resultado da imposição do sânscrito, mas um primitivo computacional compartilhado.

5. Significância e Alegações

O artigo afirma que a adoção de uma fundação Pāṇiniana oferece três benefícios primários:

1. Precisão e Eficiência: Sistemas fundamentados neste arcabouço seriam mais precisos e eficientes em termos de dados ao alavancar o substrato estrutural compartilhado, fundindo efetivamente recursos esparsos em um único leito de "metalinguagem" de altos recursos.
2. Interpretabilidade: O arcabouço oferece um caminho para a interpretabilidade mecanística. Ele levanta a questão científica de se modelos neurais treinados em línguas indicas aprendem espontaneamente representações internas correspondentes às categorias Pāṇinianas (kāraka, dhātu) sem supervisão explícita. Se o fizerem, sugere que o framework de Pāṇini captura primitivos computacionais genuínos dessas línguas.
3. Aplicação Prática: Uma abordagem unificada permitiria ferramentas robustas para desafios do mundo real, como a detecção de desinformação através do diversificado cenário linguístico da Índia e a construção de parsers que generalizam entre dialetos e registros.

Os autores concluem que o campo possui os "ingredientes" (avanços isolados em morfologia, sintaxe e semântica), mas carece da "arquitetura" para conectá-los. Ao construir benchmarks explicitamente fundamentados na Aṣṭādhyāyī, a comunidade computacional pode ir além da recuperação estatística da estrutura para um sistema desenhado e interpretável que reflete como as línguas indicas realmente funcionam.