💬 NLP

Paramanu: Compact and Competitive Monolingual Language Models for Low-Resource Morphologically Rich Indian Languages

O artigo apresenta o Paramanu, uma família de modelos de linguagem monolíngues compactos e de baixo custo treinados do zero em dados de código aberto para cinco principais línguas indianas, que utilizam tokenizadores especializados e técnicas de treinamento para superar modelos multilingues maiores, apesar de seu tamanho reduzido e orçamento de treinamento de um único GPU.

Autores originais: Mitodru Niyogi, Eric Gaussier, Arnab Bhattacharya

Publicado 2026-01-23

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mitodru Niyogi, Eric Gaussier, Arnab Bhattacharya

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine o mundo da Inteligência Artificial como uma biblioteca enorme e movimentada. Durante muito tempo, esta biblioteca foi preenchida quase inteiramente por livros escritos em inglês. Embora existam alguns livros em outras línguas, eles são frequentemente apenas traduções dos livros em inglês, ou são escritos de uma forma que pressupõe que o leitor pensa em inglês. Se você tentar ler um livro sobre línguas indianas nesta biblioteca, poderá encontrar páginas rasgadas, as palavras fragmentadas em pedaços minúsculos e confusos, ou a história simplesmente não fará sentido.

O artigo sobre o qual você está perguntando apresenta uma nova coleção especializada de livros chamada PARAMANU. Aqui está a história de como eles construíram este projeto e por que ele é importante, explicada de forma simples.

O Problema: O Terno "Tamanho Único" Não Serve

Os grandes modelos de IA atuais são como ternos gigantes e pesados feitos para falantes de inglês. Quando os pesquisadores tentam forçar esses ternos em falantes de línguas indianas (como hindi, tâmil ou bengali), o terno não serve direito.

O Problema da "Palavra Quebrada": As línguas indianas são "morfologicamente ricas", o que significa que as palavras mudam de forma muito para adicionar significado (como adicionar "s" para plural ou "ed" para passado, mas de forma muito mais complexa). Os grandes modelos costem picar essas palavras em pedaços minúsculos e inúteis, como tentar comer uma maçã inteira mordendo apenas a casca. Isso torna a IA lenta e ineficiente.
O Problema do "Cérebro em Inglês": Mesmo quando esses modelos falam línguas indianas, eles muitas vezes "pensam" em inglês por baixo, o que leva a frases estranhas ou preconceitos.
O Problema do "Muito Caro": Construir um novo modelo de IA do zero geralmente custa milhões de dólares e requer supercomputadores. Isso deixa pesquisadores na Índia ou com orçamentos menores sem capacidade de construir suas próprias ferramentas.

A Solução: Os Ternos "Sob Medida" do PARAMANU

Os autores criaram o PARAMANU, uma família de cinco modelos de IA pequenos e feitos sob medida. Cada um é projetado especificamente para uma única língua indiana principal: bengali, hindi, marati, tâmil e telugo.

Pense neles não como ternos gigantes e pesados, mas como uniformes leves e ajustados sob medida feitos especificamente para as pessoas que os vestem.

1. Construído do Zero, Não Remendado

Em vez de pegar um modelo de inglês e tentar "ensinar" línguas indianas (o que é como tentar ensinar um falante de francês a falar hindi usando apenas palavras francesas), eles construíram estes modelos do zero usando apenas dados indianos. É como construir uma casa usando apenas tijolos e madeira locais, em vez de importar materiais que não se adaptam ao clima.

2. O "Fragmentador Inteligente" (Tokenização)

Uma das maiores inovações é uma nova maneira de decompor palavras, chamada de tokenizador.

O Jeito Antigo: Imagine um fragmentador que corta uma palavra como "inacreditável" em "ina", "credit", "ável". Ele perde o significado da raiz.
O Jeito PARAMANU: Eles criaram um "fragmentador inteligente" que entende a gramática das línguas indianas. Ele mantém a raiz da palavra intacta (como "inacredit") e apenas separa os sufixos. Isso faz com que a IA entenda a palavra mais rápido e com menos "pedaços" para processar. Isso é chamado de baixa fertilidade, o que significa que não cria fragmentos desnecessários.

3. Uma Construção "Amigável ao Orçamento"

A parte mais surpreendente é o custo. Normalmente, treinar uma IA é como lançar um foguete; requer um orçamento massivo.

O Truque do PARAMANU: Eles conseguiram treinar estes modelos em uma única placa de vídeo (uma peça de computador padrão) com um orçamento de menos de US$ 1.000.
A Analogia: É como construir um carro de corrida de alto desempenho em uma garagem usando uma chave de fenda comum e algumas centenas de dólares, em vez de precisar de uma fábrica e um orçamento de um milhão de dólares. Isso permite que pesquisadores com recursos limitados construam ferramentas competitivas.

4. Expandindo a Memória (Escalonamento de Contexto)

Os modelos de IA têm um "limite de memória" (janela de contexto) sobre quanto texto podem ler de uma só vez. Normalmente, se você quiser ler um livro mais longo, precisará de um computador maior.

A Inovação: Os autores desenvolveram um truque matemático (usando algo chamado interpolação RoPE) que permite ao modelo "esticar" sua memória.
A Analogia: Imagine que você tem uma régua curta. Em vez de comprar uma régua mais longa, eles inventaram uma maneira de marcar a régua de modo que cada polegada na régua curta represente uma milha em um mapa. Isso permite que o modelo leia sequências de texto mais longas sem precisar de hardware mais caro.

Os Resultados: Pequenos, mas Poderosos

Quando testaram estes modelos pequenos (que variam de 108 milhões a 367 milhões de "parâmetros" — pense neles como células cerebrais do modelo) contra modelos muito maiores (alguns com bilhões de células cerebrais):

Os Azarões Venceram: Os pequenos modelos PARAMANU frequentemente tiveram um desempenho melhor do que os modelos multilíngues massivos e caros em suas respectivas línguas.
Eficiência: Eles alcançaram um melhor equilíbrio entre desempenho e custo. São como um carro compacto e econômico que obtém uma quilometragem melhor do que um limusine que consome muito combustível.

A Biblioteca de "Instruções"

Para tornar estes modelos úteis para tarefas reais (como responder perguntas ou seguir comandos), a equipe criou um conjunto de exemplos de "instrução" em bengali. Eles então traduziram cuidadosamente esses exemplos para as outras quatro línguas. É como dar à IA um livro de receitas em sua língua nativa, ensinando-a exatamente como cozinhar os pratos que ela deve servir.

Resumo

O artigo argumenta que, para línguas que são ricas em gramática e possuem menos recursos digitais, a melhor estratégia não é construir um modelo maior e mais caro. Em vez disso, a melhor estratégia é construir modelos menores e especializados que sejam:

Nativos: Treinados apenas naquela língua específica.
Inteligentes: Usando um tokenizador que entende a estrutura da língua.
Acessíveis: Treináveis por qualquer pessoa com um orçamento modesto.

Eles provaram que você não precisa de um orçamento de um bilhão de dólares para construir uma ótima IA para as línguas indianas; você só precisa das ferramentas certas e de um foco nas necessidades específicas da língua.

Resumo Técnico: PARAMANU

Declaração do Problema

Os atuais Grandes Modelos de Linguagem (LLMs) são predominantemente treinados em inglês e línguas europeias de alto recurso, levando a disparidades significativas de desempenho para línguas de baixo recurso e morfologicamente ricas, como as faladas na Índia. Modelos multilíngues frequentemente sofrem de um "viés centrado no inglês", onde eles "pensam em inglês", resultando em desempenho degradado em scripts não latinos. Além disso, esses modelos frequentemente utilizam um tokenizador "tamanho único para todas as línguas" que causa sobre-segmentação em línguas morfologicamente ricas, levando a uma alta fertilidade de tokens, aumento nos custos de inferência e redução da fluência. Adaptar modelos existentes centrados no inglês para línguas indianas via pré-treinamento contínuo ou ajuste fino apresenta desafios como ineficiências na extensão do vocabulário, desalinhamento de embeddings e esquecimento catastrófico, exigindo recursos computacionais além do alcance de pesquisadores com poucos recursos.

Metodologia

Os autores introduzem o PARAMANU, uma família de modelos de linguagem monolíngues, autoregressivos, do tipo decoder-only, treinados do zero especificamente para cinco grandes línguas indianas: bengali, hindi, marati, tâmil e telugo. Os modelos variam em tamanho de 108M a 367M de parâmetros e foram projetados para serem treinados em uma única GPU com um orçamento inferior a US$ 1.000.

Componentes Técnicos Principais:

Curadoria e Limpeza de Dados:
- O corpus de pré-treinamento consiste em ~54,6 GB de texto UTF-8 (25–66 bilhões de tokens) derivado de web-scraping de notícias, blogs e Wikipedia (IndianCorp v2, Vacaspati).
- A limpeza rigorosa inclui filtragem regex de HTML/XML, remoção de caracteres não literais, identificação de idioma (usando cld3 e IndianLID-FTN), filtragem de toxicidade e deduplicação via MurmurHash5.
- A divisão de sentenças utiliza pontuação específica da língua (ex: o "danda" | para os scripts bengali e devanágari).
Tokenização Alinhada à Morfologia:
- Para combater a sobre-segmentação, os autores desenvolveram um tokenizador híbrido combinando Byte Pair Encoding (BPE) com tokens do Modelo de Linguagem Unigram.
- Os tokens Unigram, que capturam estruturas morfológicas globais através de poda probabilística, são fundidos ao vocabulário BPE.
- Esta abordagem preserva radicais e sufixos frequentes como subpalavras atômicas, reduzindo significativamente a fertilidade de tokens (o número de tokens por palavra) em comparação com o BPE padrão ou modelos multilíngues como Sarvam 2B e Llama-3.
Escalonamento de Contexto via Interpolação Posicional:
- Para treinar em sequências mais longas (até 4096 tokens) em hardware com janelas de contexto limitadas (ex: 256 tokens em uma única GPU A100), os autores empregam um fator de encolhimento para os Embeddings Posicionais Rotativos (RoPE).
- Os índices de posição de tokens $p$ são escalonados para $p' = p \cdot (L/y)$ , onde $L$ é o comprimento de contexto permitido pelo hardware e $y$ é o comprimento alvo. Isso permite que o modelo aprenda dependências de longo alcance ao mapear posições absolutas em um intervalo mais estreito suportado pelo hardware, preservando as distâncias relativas.
Ajuste de Instrução (Instruction Tuning):
- Um conjunto de dados de 23.000 instruções foi criado para o bengali, compreendendo amostras de autoria humana, instruções traduzidas do Dolly e amostras de self-instruct.
- Estas foram traduzidas via máquina (com pós-edição manual) para hindi, marati, tâmil e telugo para alinhar os modelos com instruções humanas.
Arquitetura do Modelo:
- Baseado na arquitetção Transformer decoder, utilizando RMSNorm, ativação SwiGLU e weight tying.
- As configurações seguem as leis de escala Chinchilla, com modelos variando de 108M a 367M de parâmetros.

Principais Contribuições

Família PARAMANU: Os primeiros modelos de linguagem decoder, sub-400M, exclusivamente indianos e de código aberto, treinados do zero em dados transparentes e específicos de cada língua para bengali, hindi, marati, tâmil e telugo.
Tokenizadores de Baixa Fertilidade: Tokenizadores inovadores alinhados à morfologia que combinam métodos BPE e Unigram para reduzir a contagem de tokens e melhorar a coerência morfológica para scripts indianos.
Técnicas de Treinamento Eficientes: Um método de interpolação baseado em posição para os índices de posição RoPE, permitindo o treinamento de contexto longo em configurações de GPU única, e o uso de $\mu$ P transfer para otimização de hiperparâmetros.
Conjuntos de Dados de Instrução: Novos conjuntos de dados de ajuste de instrução em bengali, traduzidos para outras línguas alvo, facilitando o alinhamento dos modelos com instruções humanas.

Resultados

Os modelos PARAMANU foram avaliados contra 21 LLMs multilíngues e adaptados para línguas indianas (variando de 200M a 8B de parâmetros) usando benchmarks como MMLU, ARC, Belebele, XNLI e datasets específicos de cada língua (HellaSwag, XCOPA, XStoryCloze).

Desempenho vs. Tamanho: Apesar de seu pequeno tamanho (<400M de parâmetros) e dados de treinamento limitados (<70B de tokens), os modelos PARAMANU superam a maioria dos modelos multilíngues maiores (até 3B de parâmetros) em todas as cinco línguas.
Comparação com Modelos Maiores: Os modelos superam 6 de 10 modelos maiores (>3B de parâmetros), incluindo aqueles treinados com dados de baixo recurso up-sampled (ex: xGLM). Embora modelos como LLaMA-3-8B e Bloomz-7B liderem no geral devido ao massivo ajuste de instrução, o PARAMENU permanece competitivo.
Estudos de Ablação:
- O tokenizador híbrido melhorou o desempenho em tarefas downstream de 0,56% a 2,02% sobre o BPE padrão.
- A limpeza de dados impulsionou ainda mais as pontuações em 1% a 3,5%.
- A interpolação de posição permitiu o treinamento eficaz em sequências mais longas, com o desempenho aumentando geralmente com o tamanho do contexto.
Transferência Cross-Lingual: Os modelos demonstraram fortes capacidades de transferência zero-shot dentro da família de escrita Devanágari (ex: um modelo de marati performando bem em benchmarks de hindi), sugerindo utilidade para tarefas cross-linguais.

Significância e Alegações

O artigo argumenta que, para línguas de baixo recurso e morfologicamente ricas, a estratégia ideal não é necessariamente maximizar a escala do modelo ou depender de corpora multilíngues massivos. Em vez disso, construir modelos específicos de cada língua com tokenizadores de baixa fertilidade e alinhados à morfologia, treinados em dados limpos e específicos, gera um tradeoff superior de desempenho-eficiência.

O PARAMANU demonstra que pequenos modelos monolíngues podem ser competitivos com alternativas multilíngues muito maiores quando treinados sob restrições rigorosas de computação e orçamento. Esta abordagem torna a modelagem de linguagem avançada acessível a pesquisadores e comunidades com poucos recursos, fornecendo uma base prática para pesquisa de NLP e aplicações downstream em línguas indianas. Os autores enfatizam que seu lançamento de código aberto de modelos, tokenizadores e datasets visa preencher a lacuna para línguas historicamente sub-representadas na pesquisa de IA, promovendo transparência e avanço impulsionado pela comunidade.