🤖 machine learning

LLiMba: Sardinian on a Single GPU -- Adapting a 3B Language Model to a Vanishing Romance Language

Het artikel introduceert LLiMba, een 3B-parameter Sardinisch taalmodel dat op een enkele consument GPU is aangepast via voortgezette vooropleiding en fijne afstemming, en toont aan dat een high-rank rsLoRA-configuratie andere aanpassingsmethoden overtreft in vertaalkwaliteit, terwijl het tegelijkertijd kritieke beperkingen van standaardmetrieken blootlegt bij het vastleggen van kwalitatieve fouten zoals scriptlek en feitelijke hallucinaties.

Oorspronkelijke auteurs: Luca Ballore

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Luca Ballore

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante, meertalige student (het AI-model) hebt die bijna elk boek in de bibliotheek van grote talen zoals Engels, Spaans en Italiaans heeft gelezen. Deze student heeft echter nog nooit gehoord van Sardijns, een prachtige maar bedreigde taal die door ongeveer een miljoen mensen op een eiland in Italië wordt gesproken. Wanneer je deze student vraagt Sardijns te spreken, raadt hij gewoon en spreekt per ongeluk Italiaans of Spaans in plaats daarvan.

Het paper "LLiMba" is het verhaal van hoe de auteur deze student Sardijns vloeiend leerde spreken met behulp van slechts één standaard home-computer videokaart (een 24 GB GPU), in plaats van een enorme supercomputer.

Hier is hoe ze dat deden, opgesplitst in eenvoudige stappen:

1. Het Tweestaps-Trainingskamp

Om de student Sardijns te leren, gebruikte de auteur een trainingsproces in twee fasen:

Fase 1: Het "Immersieve Lezen" (Continued Pretraining)
Eerst kreeg de student een enorme bibliotheek met Sardijnse tekst (ongeveer 11,5 miljoen woorden) om te lezen. Dit omvatte nieuws, Wikipedia-artikelen, boeken en poëzie. Om te voorkomen dat de student vergat hoe hij Italiaans of Spaans moest spreken, mengde hij ook teksten in verwante Romaanse talen (zoals Italiaans en Spaans) als "replay"-materiaal.
- Het Resultaat: Na deze leesfase begreep de student Sardijns veel beter. Als je hen vroeg om Engels naar Sardijns te vertalen, gingen ze van bijna nutteloos naar behoorlijk goed.
Fase 2: Het "Gespreksoefenen" (Supervised Fine-Tuning)
Lezen is goed, maar spreken is beter. De student oefende vervolgens met het beantwoorden van specifieke vragen en het volgen van instructies in Sardijns. De auteur testte vijf verschillende manieren om deze gespreksvaardigheid te leren om te zien welke methode het beste werkte zonder te veel computergeheugen te vereisen.

2. De Vijf Leermethoden (Het "Adapter"-Experiment)

De auteur heeft de hele student niet opnieuw vanaf nul getraind (wat te zwaar zou zijn voor de computer). In plaats daarvan probeerde hij vijf verschillende "trainingsmutsen" (technieken die adapters worden genoemd) om het brein van de student aan te passen:

Full Fine-Tuning: Het herschrijven van het volledige brein van de student. (Zwaar, maar een goede basislijn).
LoRA (Rank 64): Een kleine, lichtgewicht muts.
rsLoRA (Rank 128): Een iets grotere, "gestabiliseerde" muts.
rsLoRA (Rank 256): De grootste, krachtigste lichtgewicht muts.
DoRA (Rank 256): Een chique muts die probeert de oorspronkelijke persoonlijkheid van de student intact te houden terwijl hij nieuwe vaardigheden toevoegt.

3. De Verrassende Resultaten

De auteur vond enkele tegenintuïtieve dingen:

Groter is niet altijd beter (voor de "DoRA"-muts): De "DoRA"-muts was ontworpen om zeer voorzichtig te zijn en de oorspronkelijke kennis van de student te behouden. Het presteerde echter het slechtst in het vertellen van de waarheid. Het sprak vloeiend maar verzon wilde, zelfverzekerde leugens over geschiedenis en cultuur.
De "rsLoRA"-Muts Won: De grootste lichtgewicht muts (rsLoRA met rank 256) was de kampioen. Het produceerde de beste vertalingen en, cruciaal, vertelde de meest accurate feiten.
De "Rank" Is Belangrijker dan het "Type": De studie vond dat het simpelweg groter maken van de adapter (het verhogen van de rank) belangrijker was dan het kiezen tussen de verschillende soorten mutsen. De grootste muts (rsLoRA 256) won van de kleinere mutsen en zelfs van de volledige hertrainingsmethode voor vertaaltaken.

4. De "Hallucinatie"-Valstrik

Het paper benadrukt een lastig probleem dat standaardtests (die gewoon tellen hoeveel woorden overeenkomen) missen: Zelfzekere Leugens.

De Feitencontrole-test: De auteur stelde de modellen specifieke vragen, zoals "Wie was Gigi Riva?" (een beroemde Sardijnse voetballer).
- Het rsLoRA-model kreeg de feiten goed.
- Het LoRA-model verzon een nepbiografie (bewerend dat hij het WK in Schotland had gewonnen, wat onmogelijk is).
- Het DoRA-model verzon nog wildere leugens (bewerend dat hij voor teams had gespeeld waar hij nooit voor had gespeeld en dat een stadion naar hem was vernoemd, terwijl dat niet zo was).
De "Nepwoorden"-test: Toen er om een lang, open essay over Sardijnse cultuur werd gevraagd, verzon het beste model (rsLoRA) soms woorden die leken op Sardijns maar in werkelijkheid niet bestonden. Het is als een student die de grammaticaregels zo goed kent dat hij een nieuw woord kan uitvinden dat perfect klinkt maar niets betekent.

5. De Les over "Scores"

Het paper waarschuwt ons niet te veel te vertrouwen op "perplexity"-scores (een veelgebruikte wiskundige maatstaf om AI te beoordelen), vooral niet voor talen die verschillende scripts gebruiken.

De Analogie: Stel je voor dat je een student beoordeelt op een test waarbij de antwoorden in een code zijn geschreven. Als de code zeer voorspelbaar is, kan de student een perfecte score halen door gewoon het patroon te raden, zelfs als hij de betekenis niet begrijpt. Het paper toont aan dat voor sommige talen de wiskundige score er geweldig uitziet, maar de werkelijke vertaalkwaliteit verschrikkelijk is. Je hebt echte mensen nodig om te controleren of de AI de waarheid vertelt.

Samenvatting

Het paper bewijst dat je een klein AI-model Sardijns, een zeldzame taal, kunt leren spreken op een enkele home-computer. Het geheim was het gebruik van een specifieke, grotere "adapter" (rsLoRA) die geheugen en creativiteit goed in evenwicht bracht. Zelfs het beste model heeft echter nog steeds de neiging om zelfverzekerd dingen te verzinnen, wat bewijst dat we menselijke feitencontroleurs nodig hebben, niet alleen wiskundige scores, om te beoordelen of een AI echt nuttig is.

Technische Samenvatting: LLiMba — Aanpassen van een 3B-taalmodel aan het Sardisch

Probleemstelling
Het Sardisch (sardu), een Romaanse taal die door ongeveer één miljoen mensen wordt gesproken, lijdt aan een bijna totale afwezigheid in moderne Natural Language Processing (NLP). Commerciële diensten ondersteunen het niet, en bestaande grote taalmodellen (LLM's) genereren het niet betrouwbaar, waarbij ze vaak terugvallen op het Italiaans, Spaans of andere grote Romaanse talen. De schaarste aan Sardische data in web-schaal corpora verhindert dat standaard open modellen de taal leren, terwijl propriëtaire modellen de gebruikersbasis te klein achten voor data-acquisitie. Bovendien bevatten standaard datasets voor low-resource talen (zoals OSCAR, Leipzig Corpora) verwaarloosbaar bruikbare Sardische tekst. De uitdaging bestaat erin een vooraf getraind meertalig model aan te passen aan een low-resource, nauw verwante Romaanse taal met minimale data en hardware van consumentenkwaliteit, terwijl catastrofale vergetelheid wordt vermeden en feitelijke onderbouwing wordt gewaarborgd.

Methodologie
De auteurs presenteren LLiMba, een Sardisch-klaar model met 3 miljard parameters, afgeleid van Qwen2.5-3B-Instruct. Het aanpassingsproces wordt uitgevoerd op een enkele NVIDIA RTX 4090 (24 GB VRAM) met een tweefasenproces:

Voortgezette Pretraining (CPT):
- Data: Een corpus van ongeveer 11,5 miljoen Sardische tokens (die varianten van LSC, Logudorese en Campidanese omvatten), verrijkt met ongeveer 2,4 miljoen tokens aan verwante Romaanse tekst (Italiaans, Spaans, Portugees, Catalaans) om catastrofale vergetelheid en verwarring van registers te voorkomen.
- Techniek: Volledige fine-tuning (alle parameters worden bijgewerkt) in bfloat16. De auteurs kozen voor deze fase voor volledige fine-tuning in plaats van parameter-efficiënte adapters, omdat de domeinverschuiving (het leren van een nieuwe taal) groot is, en eerdere studies suggereren dat LoRA onderpresteert ten opzichte van volledige fine-tuning wanneer de doelverdeling ver verwijderd is van de pretraining.
- Hardware-beperkingen: Om het 3B-model op 24 GB VRAM te laten passen, gebruikten de auteurs gepaged 8-bit AdamW-optimizers, gradient checkpointing en een effectieve batchgrootte van 16 via gradient accumulation. Sequence packing werd uitgeschakeld om attentielekkage over heterogene documenttypen te voorkomen.
Supervised Fine-Tuning (SFT):
- Data: Ongeveer 14.404 instructieparen, afgeleid van machinevertaalde Capybara-gegevens, parallelle vertaalparen, door native sprekers samengestelde synthetische instructies en vragen gerelateerd aan liedjes.
- Vergelijking van configuraties: Vijf SFT-configuraties werden onder gelijke omstandigheden (dezelfde data, hardware, hyperparameters) vergeleken:
  - Volledige Fine-tuning.
  - LoRA (Rank 64, $\alpha=128$ ).
  - rsLoRA (Rank 128, $\alpha=128$ , met $\alpha/\sqrt{r}$ -schaling).
  - rsLoRA (Rank 256, $\alpha=256$ , met $\alpha/\sqrt{r}$ -schaling).
  - DoRA (Rank 256, $\alpha=256$ , waarbij gewichten worden ontbonden in grootte en richting).

Belangrijkste Resultaten

Vertaalkwaliteit: Voortgezette pretraining leverde het grootste deel van de prestatiewinst op, met een verbetering van de BLEU-scores met 4 tot 7 keer ten opzichte van het basismodel. SFT zorgde voor marginale verbeteringen.
- Beste Performer: rsLoRA met Rank 256 behaalde de hoogste scores voor vertaling naar het Sardisch (bijvoorbeeld 28,47 BLEU voor Engels-naar-Sardisch, vergeleken met 17,26 na alleen CPT en 21,04 voor volledige fine-tuning).
- Rank Ablatie: De prestaties op vertaalmetrieken schalen soepel met de rank: rsLoRA r256 > rsLoRA r128 > LoRA r64.
- Onderprestatie DoRA: Ondanks dezelfde rank (256) als de beste rsLoRA-configuratie, presteerde DoRA slechter dan LoRA r64 op vier van de zes vertaalrichtingen en slaagde het er niet in de winst van volledige fine-tuning te evenaren.
Kwalitatieve Bevindingen & Falingsmodi:
- Feitelijke Onderbouwing: Vertaalmetrieken (BLEU/chrF) correleerden niet met feitelijke nauwkeurigheid. rsLoRA r256 leverde verifieerbare, accurate biografische en culturele feiten op. Daarentegen produceerde LoRA r64 zelfverzekerde maar gefabriceerde details, en DoRA r256 produceerde de meest agressieve fabricages, in strijd met zijn ontwerppremisse om de structuur van het basismodel te behouden.
- Lexicale Fideliteit: Hoewel rsLoRA r256 feitelijk superieur was, vertoonde het "morphologische hallucinatie" bij lange, open vragen, waarbij fonotactisch plausibele maar niet-gedocumenteerde Sardische woorden werden gegenereerd. Volledige fine-tuning bleef het dichtst bij gedocumenteerde vocabulaire.
- Script-lekkage: De rsLoRA r128-configuratie introduceerde een unieke falingsmodus: lekkage van tokens in niet-Latijnse scripts (Chinees/Engels) in Sardische zinnen, een fenomeen dat bij andere varianten niet werd waargenomen.
Verliesmetrieken versus Realiteit: Trainings- en evaluatieverliezen waren vergelijkbaar tussen de methoden en voorspelden niet de kwalitatieve verschillen in feitelijke juistheid of script-integriteit. Het artikel merkt op dat perplexiteitsmetrieken kunstmatig kunnen worden verlaagd door byte-fallback-tokenisatie in niet-Latijnse scripts (een bekend probleem bij Tibetaanse aanpassing), hoewel het Latijnse schrift van het Sardisch dit specifieke artefact vermijdt.

Betekenis en Bijdragen
Het artikel stelt vast dat het aanpassen van een model met 3 miljard parameters aan een low-resource Romaanse taal haalbaar is op een enkele consument-GPU met een tweefasenproces van volledige CPT gevolgd door parameter-efficiënte SFT.

De belangrijkste bijdragen zijn:

Empirisch Bewijs over Adapter-capaciteit: De studie toont aan dat voor het aanpassen van een Romaans-voorgetrainde basis aan een low-resource Romaanse doel, de adapter-rank belangrijker is dan de specifieke adapter-variant. Het schalen van rsLoRA naar Rank 256 leverde aanzienlijke winsten op, terwijl DoRA met dezelfde rank geen vergelijkbare resultaten leverde, wat suggereert dat de specifieke parameterisering (ongebonden low-rank updates versus decompositie in grootte-richting) kritiek interageert met de taak.
Beperkingen van Standaard Metrieken: Het werk benadrukt dat vertaalmetrieken (BLEU/chrF) en verliescurves configuraties soepel kunnen rangschikken terwijl ze categorische verschillen in kwalitatief gedrag maskeren, zoals feitelijke hallucinaties en script-lekkage.
Resource-efficiëntie: Het biedt een reproduceerbaar proces voor aanpassing aan low-resource talen dat geen enorme compute-clusters vereist, maar in plaats daarvan steunt op zorgvuldige data-curatie en hardware-bewuste optimalisatie (8-bit optimizers, gradient checkpointing).

De auteurs concluderen dat hoewel rsLoRA r256 de optimale configuratie is voor vertaling en feitelijke onderbouwing in deze specifieke setting, de divergentie tussen kwantitatieve metrieken en kwalitatieve realiteit evaluatiestrategieën vereist die native sprekersprobes en feitelijke controles omvatten, vooral wanneer op verlies gebaseerde metrieken misleidend of ontoereikend kunnen zijn.