💬 NLP

Paramanu: Compact and Competitive Monolingual Language Models for Low-Resource Morphologically Rich Indian Languages

Het artikel introduceert Paramanu, een familie van compacte, kosteneffectieve monolinguale taalmodellen die vanaf nul zijn getraind op open-source data voor vijf belangrijke Indiase talen, die gespecialiseerde tokenizers en trainings-technieken gebruiken om grotere meertalige modellen te overtreffen ondanks hun kleine omvang en een single-GPU trainingsbudget.

Oorspronkelijke auteurs: Mitodru Niyogi, Eric Gaussier, Arnab Bhattacharya

Gepubliceerd 2026-01-23

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mitodru Niyogi, Eric Gaussier, Arnab Bhattacharya

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de wereld van Kunstmatige Intelligentie voor als een enorme, bruisende bibliotheek. Lange tijd was deze bibliotheek bijna volledig gevuld met boeken geschreven in het Engels. Hoewel er wel boeken in andere talen zijn, zijn dit vaak vertalingen van de Engelse boeken, of zijn ze geschreven op een manier die ervan uitgaat dat de lezer in het Engels denkt. Als je een boek over Indiase talen probeert te lezen in deze bibliotheek, zul je merken dat de pagina's gescheurd zijn, de woorden in kleine, verwarrende fragmenten zijn gehakt, of dat het verhaal simpelweg geen zin maakt.

Het papier waar je naar vraagt, introduceert een nieuwe, gespecialiseerde collectie boeken genaamd PARAMANU. Hier is het verhaal van hoe ze deze hebben gebouwd en waarom het ertoe doet, eenvoudig uitgelegd.

Het Probleen: Het "One-Size-Fits-All" Pak Zit Niet Goed

Huidige grote AI-modellen zijn als enorme, zware pakken die gemaakt zijn voor Engelstaligen. Wanneer onderzoekers proberen deze pakken aan sprekers van Indiase talen (zoals Hindi, Tamil of Bengaals) te dwingen, past het pak niet goed.

Het "Gebroken Woord"-probleem: Indiase talen zijn "morfologisch rijk", wat betekent dat woorden veel van vorm veranderen om betekenis toe te voegen (zoals het toevoegen van "s" voor meervoud of "ed" voor verleden tijd, maar dan veel complexer). Grote modellen hakken deze woorden vaak in kleine, nutteloze stukjes, alsof je probeelt een hele appel te eten door alleen de schil eraf te bijten. Dit maakt de AI traag en inefficiënt.
Het "Engelse Brein"-probleem: Zelfs wanneer deze modellen Indiase talen spreken, "denken" ze onder de motorkap vaak in het Engels, wat leidt tot ongemakkelijke formuleringen of vooroordelen.
Het "Te Duur"-probleem: Het bouwen van een nieuwe AI vanaf nul kost meestal miljoenen dollars en vereist supercomputers. Dit zorgt ervoor dat onderzoekers in India of met kleinere budgetten niet in staat zijn om hun eigen tools te bouwen.

De Oplossing: De PARAMANU "Op Maat Gemaakte" Pakken

De auteurs creëerden PARAMANU, een familie van vijf kleine, op maat gemaakte AI-modellen. Elk model is specifiek ontworpen voor een enkele belangrijke Indiase taal: Bengaals, Hindi, Marathi, Tamil en Telugu.

Beschouw ze niet als enorme, zware pakken, maar als lichtgewicht, op maat gemaakte uniformen die specifiek zijn gemaakt voor de mensen die ze dragen.

1. Gebouwd vanaf de Grondslag, Niet Gepatched

In plaats van een Engels model te nemen en te proberen het Indiase talen te "leren" (wat is als proberen een Franstalige te leren Hindi te spreken door alleen Franse woorden te gebruiken), hebben ze deze modellen vanaf de grond opgebouwd met uitsluitend Indiase data. Het is alsof je een huis bouwt met alleen lokale bakstenen en hout, in plaats van materialen te importeren die niet passen bij het klimaat.

2. De "Slimme Versnipperaar" (Tokenisatie)

Een van de grootste innovaties is een nieuwe manier om woorden af te breken, een tokenizer genoemd.

De Oude Manier: Stel je een versnipperaar voor die een woord als "onvergelijkbaar" hakt in "on", "vergelij", "baar". De kernbetekenis wordt gemist.
De PARAMANU Manier: Ze creëerden een "slimme versnipperaar" die de grammatica van Indiase talen begrijpt. Het houdt de kern van het woord intact (zoals "onvergelij") en scheidt alleen de uitgangen. Dit zorgt ervoor dat de AI het woord sneller en met minder "stukjes" verwerkt. Dit wordt low-fertility genoemd, wat betekent dat het niet zoveel onnodige fragmenten creëert.

3. De "Budgetvriendelijke" Bouw

Het meest verrassende deel is de kosten. Normaal gesproken is het trainen van een AI als het lanceren van een raket; het vereist een enorm budget.

PARAMANU's Truc: Ze slaagden erin om deze modellen te trainen op een enkele grafische kaart (een standaard computeronderdeel) met een budget van minder dan $1.000.
De Analogie: Het is alsof je een high-performance racewagen bouwt in een garage met een gewone moersleutel en een paar honderd dollar, in plaats van een fabriek en een miljoenenbudget nodig te hebben. Dit stelt onderzoekers met beperkte middelen in staat om concurrerende tools te bouwen.

4. Het Geheugen Rekken (Context Scaling)

AI-modellen hebben een "geheugenlimiet" (context window) voor hoeveel tekst ze tegelijk kunnen lezen. Normaal gesproken, als je een langer boek wilt lezen, heb je een grotere computer nodig.

De Innovatie: De auteurs ontwikkelden een wiskundige truc (met behulp van iets dat RoPE interpolation wordt genoemd) waarmee het model zijn geheugen kan "rekken".
De Analogie: Stel je voor dat je een korte liniaal hebt. In plaats van een langere te kopen, hebben ze een manier uitgevonden om de liniaal zo te markeren dat elke inch op de korte liniaal een mijl op een kaart vertegenwoordigt. Dit laat het model langere reeksen tekst lezen zonder dat er duurdere hardware nodig is.

De Resultaten: Klein maar Krachtig

Wanneer ze deze kleine modellen (die variëren van 108 miljoen tot 367 miljoen "parameters" — denk aan deze als de hersencellen van het model) testten tegen veel grotere modellen (sommigen met miljarden hersencellen):

De Underdogs Wonnen: De kleine PARAMANU-modellen presteerden vaak beter dan de enorme, dure meertalige modellen in hun specifieke talen.
Efficiëntie: Ze bereikten een betere balans tussen prestaties en kosten. Ze zijn als een compacte, brandstofefficiënte auto die een betere kilometerstand haalt dan een benzineslurpend limousine-voertuig.

De "Instructie" Bibliotheek

Om deze modellen nuttig te maken voor echte taken (zoals vragen beantwoorden of opdrachten opvolgen), heeft het team een reeks "instructie"-voorbeelden in het Bengaals gemaakt. Vervolgens hebben ze deze zorgvuldig vertaald naar de andere vier talen. Dit is als het geven van een receptenboek in de moedertaal van de AI, waardoor het precies leert hoe het de gerechten moet bereiden die het moet serveren.

Samenvatting

Het paper beargumenteert dat voor talen die rijk zijn aan grammatica en minder digitale middelen hebben, de beste strategie niet is om een groter, duurder model te bouwen. In plaats daarvan is de beste strategie om kleinere, gespecialiseerde modellen te bouwen die:

Natief zijn: Getraind op uitsluitend die specifieke taal.
Slim zijn: Gebruikmakend van een tokenizer die de structuur van de taal begrijpt.
Toegankelijk zijn: Trainbaar door iedereen met een bescheiden budget.

Ze bewezen dat je geen miljardenbudget nodig hebt om een geweldige AI voor Indiase talen te bouwen; je hebt alleen de juiste tools en een focus op de specifieke behoeften van de taal nodig.

Technische Samenvatting: PARAMANU

Probleemstelling

Huidige Large Language Models (LLM's) zijn voornamelijk getraind op Engels en hoog-resource Europese talen, wat leidt tot significante prestatieverschillen voor laag-resource, morfologisch rijke talen zoals die in India worden gesproken. Multilinguale modellen lijden vaak aan een "Engels-centrische bias", waarbij ze "in het Engels denken", wat resulteert in gedegradeerde prestaties op niet-Latijnse schriften. Bovendien maken deze modellen vaak gebruik van een "one-size-fits-all" tokenizer die oversegmentatie veroorzaakt in morfologisch rijke talen, wat leidt tot hoge token-fertiliteit, verhoogde inferentiekosten en verminderde vloeiendheid. Het aanpassen van bestaande Engels-centrische modellen aan Indiase talen via continue pretraining of fine-tuning brengt uitdagingen met zich mee zoals inefficiënties in vocabulaire-extensie, embedding-misalignment en catastrofale vergetelheid, wat vaak computationele middelen vereist die buiten het bereik liggen van onderbedeelde onderzoekers.

Methodologie

De auteurs introduceren PARAMANU, een familie van monolinguale, autoregressieve decoder-only taalmodellen die specifiek vanaf nul zijn getraind voor vijf belangrijke Indiase talen: Bengaals, Hindi, Marathi, Tamil en Telugu. De modellen variëren in grootte van 108M tot 367M parameters en zijn ontworpen om getraind te worden op een enkele GPU met een budget onder de $1.000.

Belangrijke technische componenten:

Data Curatie en Opschoning:
- De pretraining-corpus bestaat uit ~54,6 GB aan UTF-8 tekst (25–66 miljard tokens) afkomstig van web-gescrapte nieuwsartikelen, blogs en Wikipedia (IndianCorp v2, Vacaspati).
- Grondige opschoning omvat regex-filtering van HTML/XML, verwijdering van niet-letterlijke karakters, taalidentificatie (met behulp van cld3 en IndianLID-FTN), toxiciteitsfiltering en deduplicatie via MurmurHash5.
- Zinssegmentatie maakt gebruik van taalspecifieke interpunctie (bijv. de "danda" | voor Bengaalse en Devanagari-schriften).
Morfologie-gealigneerde Tokenisatie:
- Om oversegmentatie aan te pakken, hebben de auteurs een hybride tokenizer ontwikkeld die Byte Pair Encoding (BPE) combineert met Unigram Language Model-tokens.
- De Unigram-tokens, die globale morfologische structuren vastleggen door middel van probabilistische pruning, worden samengevoegd in de BPE-vocabulaire.
- Deze aanpak behoudt stammen en frequente suffixen als atomaire subwoorden, wat de token-fertiliteit (het aantal tokens per woord) aanzienlijk vermindert in vergelijking met standaard BPE of multilinguale modellen zoals Sarvam 2B en Llama-3.
Context Schaling via Positional Interpolation:
- Om te trainen op langere sequenties (tot 4096 tokens) op hardware met beperkte contextvensters (bijv. 256 tokens op een enkele A100 GPU), gebruiken de auteurs een shrinking factor voor Rotary Positional Embeddings (RoPE).
- Token positie-indices $p$ worden geschaald naar $p' = p \cdot (L/y)$ , waarbij $L$ de door hardware toegestane contextlengte is en $y$ de doel-lengte. Dit stelt het model in staat om lange-afstandsafhankelijkheden te leren door absolute posities in kaart te brengen naar een nauwer, door hardware ondersteund bereik, terwijl relatieve afstanden behouden blijven.
Instructie-tuning:
- Een dataset van 23.000 instructies werd gecreëerd voor Bengaals, bestaande uit door mensen geschreven samples, vertaalde Dolly-instructies en self-instruct samples.
- Deze werden machinaal vertaald (met handmatige post-editing) naar Hindi, Marathi, Tamil en Telugu om de modellen af te stemmen op menselijke instructies.
Model Architectuur:
- Gebaseerd op de Transformer decoder-architectuur, gebruikmakend van RMSNorm, SwiGLU activatie en weight tying.
- Configuraties volgen de Chinchilla scaling laws, met modellen variërend van 108M tot 367M parameters.

Belangrijkste Bijdragen

PARAMANU Familie: De eerste open-source, alleen-Indiase, sub-400M decoder taalmodellen die vanaf nul zijn getraind op volledig transparante, taalspecifieke data voor Bengaals, Hindi, Marathi, Tamil en Telugu.
Low-Fertility Tokenizers: Innovatieve morfologie-gealigneerde tokenizers die BPE en Unigram methoden combineren om het aantal tokens te verminderen en de morfologische coherentie voor Indiase schriften te verbeteren.
Efficiënte Trainings-technieken: Een interpolatie-gebaseerde methode voor RoPE positie-indices die training op langere sequenties mogelijk maakt op single-GPU setups, en het gebruik van $\mu$ P transfer voor hyperparameter optimalisatie.
Instructie Datasets: Nieuwe instructie-tuning datasets in het Bengaals, vertaald naar andere doeltalen, wat de afstemming van de modellen met menselijke instructies vergemakkelijkt.

Resultaten

De PARAMANU-modellen werden geëvalueerd tegenover 21 multilinguale en op Indiase talen aangepaste LLM's (variërend van 200M tot 8B parameters) met behulp van benchmarks zoals MMLU, ARC, Belebele, XNLI en taalspecifieke datasets (HellaSwag, XCOPA, XStoryCloze).

Prestaties vs. Grootte: Ondanks hun kleine omvang (<400M parameters) en beperkte trainingsdata (<70B tokens), presteren de PARAMANU-modellen beter dan de meeste grotere multilinguale modellen (tot 3B parameters) over alle vijf de talen.
Vergelijking met Grotere Modellen: De modellen presteren beter dan 6 van de 10 grotere modellen (>3B parameters), inclusief modellen die getraind zijn met up-sampled low-resource data (bijv. xGLM). Hoewel modellen zoals LLaMA-3-8B en Bloomz-7B leiden vanwege massieve instructie-tuning, blijft PARAMANU competitief.
Ablatie Studies:
- De hybride tokenizer verbeterde de prestaties op downstream taken met 0,56% tot 2,02% ten opzichte van standaard BPE.
- Data-opschoning verhoogde de scores verder met 1% tot 3,5%.
- Positie-interpolatie maakte effectieve training op langere sequenties mogelijk, waarbij de prestaties over het algemeen toenamen met de contextgrootte.
Cross-Linguale Transfer: De modellen vertoonden sterke zero-shot transfer capaciteiten binnen de Devanagari-schriftfamilie (bijv. een Marathi model dat goed presteert op Hindi benchmarks), wat wijst op bruikbaarheid voor cross-linguale taken.

Betekenis en Claims

Het artikel betoogt dat voor laag-resource, morfologisch rijke talen de optimale strategie niet noodzakelijkerwijs het maximaliseren van de modelschaal of het vertrouwen op enorme multilinguale corpora is. In plaats daarvan levert het bouwen van taalspecifieke modellen met low-fertility, morfologie-gealigneerde tokenizers getraind op gezuiverde, specifieke data een superieure prestatie-efficiëntie trade-off op.

PARAMANU demonstreert dat kleine monolinguale modellen competitief kunnen zijn met veel grotere multilinguale alternatieven wanneer ze getraind worden onder strikte computationele en budgettaire beperkingen. Deze aanpak maakt geavanceerde taalmodellering toegankelijk voor onderbedeelde onderzoekers en gemeenschappen, en biedt een praktische basis voor NLP-onderzoek en downstream toepassingen in Indiase talen. De auteurs benadrukken dat hun open-source release van modellen, tokenizers en datasets bedoeld is om de kloof te overbruggen voor talen die historisch ondervertegenwoordigd zijn in AI-onderzoek, en daarmee transparantie en gemeenschapsgestuurde vooruitgang te bevorderen.