🤖 machine learning

LLiMba: Sardinian on a Single GPU -- Adapting a 3B Language Model to a Vanishing Romance Language

Der Artikel stellt LLiMba vor, ein 3-Milliarden-Parameter-Sardinisch-Sprachmodell, das auf einer einzigen Consumer-GPU durch fortgesetztes Vor-Training und Feinabstimmung adaptiert wurde, und zeigt, dass eine hochrangige rsLoRA-Konfiguration andere Adaptionsmethoden in der Übersetzungsqualität übertrifft, während gleichzeitig kritische Grenzen herkömmlicher Metriken beim Erfassen qualitativer Fehler wie Skript-Lecks und faktischer Halluzinationen aufgezeigt werden.

Ursprüngliche Autoren: Luca Ballore

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Luca Ballore

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen brillanten, mehrsprachigen Schüler (das KI-Modell), der fast jedes Buch in der Bibliothek der wichtigsten Sprachen wie Englisch, Spanisch und Italienisch gelesen hat. Dieser Schüler hat jedoch noch nie von Sardisch gehört, einer schönen, aber bedrohten Sprache, die von etwa einer Million Menschen auf einer Insel in Italien gesprochen wird. Wenn Sie diesen Schüler bitten, Sardisch zu sprechen, rät er einfach und spricht versehentlich stattdessen Italienisch oder Spanisch.

Die Arbeit „LLiMba" ist die Geschichte davon, wie der Autor diesen Schüler dazu brachte, Sardisch fließend zu sprechen, und zwar ausschließlich mit einer einzigen Standard-Grafikkarte für Heimcomputer (eine 24-GB-GPU) anstelle eines massiven Supercomputers.

So haben sie es getan, aufgeschlüsselt in einfache Schritte:

1. Das zweistufige Trainingslager

Um dem Schüler Sardisch beizubringen, verwendete der Autor einen zweistufigen Trainingsprozess:

Stufe 1: Das „immersive Lesen" (Fortgesetztes Vor-Training)
Zunächst erhielt der Schüler eine massive Bibliothek sardischer Texte (etwa 11,5 Millionen Wörter) zum Lesen. Dazu gehörten Nachrichten, Wikipedia-Artikel, Bücher und Poesie. Um zu verhindern, dass der Schüler vergisst, wie man Italienisch oder Spanisch spricht, wurden auch Texte verwandter romanischer Sprachen (wie Italienisch und Spanisch) als „Wiederholungsmaterial" eingemischt.
- Das Ergebnis: Nach dieser Lesephase verstand der Schüler Sardisch deutlich besser. Wenn Sie ihn baten, Englisch ins Sardische zu übersetzen, ging er von fast unbrauchbar zu brauchbar über.
Stufe 2: Das „Konversations-Training" (Überwachtes Feinabstimmen)
Lesen ist gut, aber Sprechen ist besser. Der Schüler übte dann, spezifische Fragen zu beantworten und Anweisungen auf Sardisch zu befolgen. Der Autor testete fünf verschiedene Methoden, um diese Konversationsfähigkeit zu vermitteln, um herauszufinden, welche Methode am besten funktionierte, ohne zu viel Computerspeicher zu benötigen.

2. Die fünf Lehrmethoden (Das „Adapter"-Experiment)

Der Autor hat den Schüler nicht einfach komplett neu trainiert (was für den Computer zu schwerfällig wäre). Stattdessen probierte er fünf verschiedene „Trainingsmützen" (Techniken, sogenannte Adapter) aus, um das Gehirn des Schülers anzupassen:

Vollständiges Feinabstimmen: Das Umschreiben des gesamten Gehirns des Schülers. (Schwerfällig, aber eine gute Basislinie).
LoRA (Rank 64): Eine kleine, leichte Mütze.
rsLoRA (Rank 128): Eine etwas größere, „stabilisierte" Mütze.
rsLoRA (Rank 256): Die größte, leistungsfähigste leichte Mütze.
DoRA (Rank 256): Eine ausgefallene Mütze, die versucht, die ursprüngliche Persönlichkeit des Schülers zu bewahren, während sie neue Fähigkeiten hinzufügt.

3. Die überraschenden Ergebnisse

Der Autor stellte einige kontraintuitive Dinge fest:

Größer ist nicht immer besser (für die „DoRA"-Mütze): Die „DoRA"-Mütze wurde entwickelt, um sehr vorsichtig zu sein und das ursprüngliche Wissen des Schülers zu bewahren. Sie schnitt jedoch bei der Wahrheitssage am schlechtesten ab. Sie sprach fließend, erfand aber wilde, selbstsichere Lügen über Geschichte und Kultur.
Die „rsLoRA"-Mütze gewann: Die größte leichte Mütze (rsLoRA mit Rank 256) war der Champion. Sie lieferte die besten Übersetzungen und, was entscheidend ist, erzählte die genauesten Fakten.
Der „Rank" ist wichtiger als der „Typ": Die Studie ergab, dass es wichtiger ist, den Adapter einfach nur „größer" zu machen (den Rank zu erhöhen), als zwischen den verschiedenen Mützentypen zu wählen. Die größte Mütze (rsLoRA 256) schlug die kleineren und sogar die Methode des vollständigen Neutrainings bei Übersetzungsaufgaben.

4. Die „Halluzinations"-Falle

Die Arbeit hebt ein tückisches Problem hervor, das Standardtests (die nur zählen, wie viele Wörter übereinstimmen), übersehen: Selbstsichere Lügen.

Der Faktencheck-Test: Der Autor stellte den Modellen spezifische Fragen, wie zum Beispiel: „Wer war Gigi Riva?" (ein berühmter sardischer Fußballer).
- Das rsLoRA-Modell bekam die Fakten richtig.
- Das LoRA-Modell erfand eine falsche Biografie (und behauptete, er habe in Schottland die Weltmeisterschaft gewonnen, was unmöglich ist).
- Das DoRA-Modell erfand noch wildere Lügen (und behauptete, er habe für Mannschaften gespielt, für die er nie gespielt hatte, und dass ein Stadion nach ihm benannt worden sei, obwohl dies nicht der Fall war).
Der „Fake-Wörter"-Test: Wenn man das Modell bat, einen langen, offenen Aufsatz über die sardische Kultur zu schreiben, erfand das beste Modell (rsLoRA) manchmal Wörter, die klangen wie Sardisch, aber tatsächlich nicht existierten. Es ist wie ein Schüler, der die Grammatikregeln so gut beherrscht, dass er ein neues Wort erfinden kann, das perfekt klingt, aber nichts bedeutet.

5. Die Lektion über „Scores"

Die Arbeit warnt davor, „Perplexity"-Scores (ein gängiges mathematisches Maß zur Bewertung von KI) zu sehr zu vertrauen, insbesondere für Sprachen, die andere Schriftsysteme verwenden.

Die Analogie: Stellen Sie sich vor, Sie bewerten einen Schüler bei einem Test, bei dem die Antworten in einem Code geschrieben sind. Wenn der Code sehr vorhersehbar ist, könnte der Schüler durch bloßes Raten des Musters eine perfekte Punktzahl erzielen, selbst wenn er die Bedeutung nicht versteht. Die Arbeit zeigt, dass bei einigen Sprachen die mathematische Punktzahl großartig aussieht, die tatsächliche Übersetzungsqualität jedoch schrecklich ist. Sie benötigen echte Menschen, um zu überprüfen, ob die KI tatsächlich die Wahrheit sagt.

Zusammenfassung

Die Arbeit beweist, dass man ein kleines KI-Modell auf einem einzelnen Heimcomputer dazu bringen kann, eine seltene Sprache wie Sardisch zu sprechen. Das Geheimnis war die Verwendung eines spezifischen, größeren „Adapters" (rsLoRA), der Speicher und Kreativität gut ausbalancierte. Selbst das beste Modell neigt jedoch immer noch dazu, selbstsicher Dinge zu erfinden, was beweist, dass wir menschliche Faktenprüfer benötigen und nicht nur mathematische Scores, um zu beurteilen, ob eine KI wirklich hilfreich ist.

Technische Zusammenfassung: LLiMba — Anpassung eines 3B-Sprachmodells an das Sardische

Problemstellung
Das Sardische (sardu), eine romanische Sprache, die von etwa einer Million Menschen gesprochen wird, leidet unter einer nahezu vollständigen Abwesenheit im modernen Bereich der Verarbeitung natürlicher Sprache (Natural Language Processing, NLP). Kommerzielle Dienste unterstützen es nicht, und bestehende Large Language Models (LLMs) sind nicht in der Lage, es zuverlässig zu generieren, sondern weichen häufig auf Italienisch, Spanisch oder andere große romanische Sprachen aus. Die Knappheit sardischer Daten in webweiten Korpora verhindert, dass Standard-Open-Modelle die Sprache lernen, während proprietäre Modelle die Nutzerbasis für die Datenerfassung als zu klein erachten. Darüber hinaus enthalten Standard-Datensätze für ressourcenarme Sprachen (z. B. OSCAR, Leipzig Corpora) vernachlässigbare Mengen an verwertbarem sardischen Text. Die Herausforderung besteht darin, ein vortrainiertes mehrsprachiges Modell unter Verwendung minimaler Daten und Consumer-Hardware an eine ressourcenarme, eng verwandte romanische Sprache anzupassen, dabei katastrophales Vergessen zu vermeiden und eine faktische Verankerung sicherzustellen.

Methodik
Die Autoren präsentieren LLiMba, ein 3-Milliarden-Parameter-Sardisch-Modell, das von Qwen2.5-3B-Instruct adaptiert wurde. Der Anpassungspipeline wird auf einer einzelnen NVIDIA RTX 4090 (24 GB VRAM) in einem zweistufigen Prozess ausgeführt:

Fortgesetztes Vortraining (Continued Pretraining, CPT):
- Daten: Ein Korpus von ~11,5 Millionen sardischen Tokens (umfassend die Varianten LSC, Logudorese und Campidanese), ergänzt durch ~2,4 Millionen Tokens verwandter romanischer Texte (Italienisch, Spanisch, Portugiesisch, Katalanisch), um katastrophales Vergessen und eine Verwischung des Registers zu verhindern.
- Technik: Vollständiges Fine-Tuning (alle Parameter werden aktualisiert) in bfloat16. Die Autoren wählten für diese Phase das vollständige Fine-Tuning gegenüber parametereffizienten Adaptern, da die Domänenverschiebung (Lernen einer neuen Sprache) groß ist und frühere Arbeiten darauf hindeuten, dass LoRA beim vollständigen Fine-Tuning unterdurchschnittlich abschneidet, wenn die Zielverteilung weit von der Vortrainierungsverteilung entfernt ist.
- Hardware-Einschränkungen: Um das 3B-Modell auf 24 GB VRAM zu platzieren, nutzten die Autoren gepagte 8-Bit-AdamW-Optimierer, Gradienten-Checkpointing und eine effektive Batch-Größe von 16 durch Gradientenakkumulation. Das Sequence Packing wurde deaktiviert, um eine Attention-Leckage über heterogene Dokumententypen hinweg zu verhindern.
Überwachtes Fine-Tuning (Supervised Fine-Tuning, SFT):
- Daten: ~14.404 Instruktionspaare, abgeleitet aus maschinell übersetzten Capybara-Daten, parallelen Übersetzungspaaren, von Muttersprachlern kuratierten synthetischen Instruktionen und songbezogenen Abfragen.
- Konfigurationsvergleich: Fünf SFT-Konfigurationen wurden unter abgeglichenen Bedingungen (gleiche Daten, Hardware, Hyperparameter) verglichen:
  - Vollständiges Fine-Tuning.
  - LoRA (Rank 64, $\alpha=128$ ).
  - rsLoRA (Rank 128, $\alpha=128$ , unter Verwendung der Skalierung $\alpha/\sqrt{r}$ ).
  - rsLoRA (Rank 256, $\alpha=256$ , unter Verwendung der Skalierung $\alpha/\sqrt{r}$ ).
  - DoRA (Rank 256, $\alpha=256$ , Zerlegung der Gewichte in Betrag und Richtung).

Hauptergebnisse

Übersetzungsleistung: Das fortgesetzte Vortraining lieferte den Großteil des Leistungsgewinns und verbesserte die BLEU-Werte um das 4- bis 7-fache gegenüber dem Basismodell. SFT brachte inkrementelle Verbesserungen.
- Bester Performer: rsLoRA mit Rank 256 erzielte die höchsten Werte für Übersetzungen ins Sardische (z. B. 28,47 BLEU für Englisch-zu-Sardisch, verglichen mit 17,26 nach CPT allein und 21,04 für vollständiges Fine-Tuning).
- Rank-Ablation: Die Leistung bei Übersetzungsmetriken skalierte glatt mit dem Rank: rsLoRA r256 > rsLoRA r128 > LoRA r64.
- Unterperformance von DoRA: Trotz des gleichen Ranks (256) wie die beste rsLoRA-Konfiguration schnitt DoRA bei vier von sechs Übersetzungsrichtungen schlechter ab als LoRA r64 und konnte die Gewinne des vollständigen Fine-Tunings nicht erreichen.
Qualitative Befunde und Fehlermodi:
- Faktische Verankerung: Übersetzungsmetriken (BLEU/chrF) korrelierten nicht mit faktischer Genauigkeit. rsLoRA r256 produzierte überprüfbare, genaue biographische und kulturelle Fakten. Im Gegensatz dazu erzeugte LoRA r64 selbstbewusste, aber erfundene Details, und DoRA r256 produzierte die aggressivsten Fälschungen, was seiner Designprämisse widersprach, die Struktur des Basismodells zu bewahren.
- Lexikalische Treue: Obwohl rsLoRA r256 faktisch überlegen war, zeigte es bei langen, offenen Prompts „morphologische Halluzinationen" und generierte phonotaktisch plausible, aber nicht bezeugte sardische Wörter. Das vollständige Fine-Tuning blieb dem bezeugten Wortschatz am nächsten.
- Skript-Leckage: Die Konfiguration rsLoRA r128 führte zu einem einzigartigen Fehlermodus: Leckage von Tokens nicht-lateinischer Skripte (Chinesisch/Englisch) in sardische Sätze, ein Phänomen, das bei anderen Varianten nicht beobachtet wurde.
Verlustmetriken vs. Realität: Trainings- und Evaluationsverluste waren über die Methoden hinweg ähnlich und sagten keine qualitativen Unterschiede in der Faktizität oder Integrität des Skripts voraus. Die Arbeit stellt fest, dass Perplexitätsmetriken durch Byte-Fallback-Tokenisierung in nicht-lateinischen Skripten künstlich gesenkt werden können (ein bekanntes Problem bei der Anpassung an Tibetisch), obwohl das lateinische Schriftsystem des Sardischen dieses spezifische Artefakt vermeidet.

Bedeutung und Beiträge
Die Arbeit zeigt, dass die Anpassung eines 3-Milliarden-Parameter-Modells an eine ressourcenarme romanische Sprache auf einer einzelnen Consumer-GPU unter Verwendung einer zweistufigen Pipeline aus vollständigem CPT gefolgt von parametereffizientem SFT machbar ist.

Zu den wichtigsten Beiträgen gehören:

Empirische Evidenz zur Adapter-Kapazität: Die Studie zeigt, dass für die Anpassung einer romanisch-vortrainierten Basis an ein ressourcenarmes romanisches Ziel der Adapter-Rank wichtiger ist als die spezifische Adapter-Variante. Die Skalierung von rsLoRA auf Rank 256 erzielte signifikante Gewinne, während DoRA beim gleichen Rank keine vergleichbaren Ergebnisse lieferte. Dies deutet darauf hin, dass die spezifische Parametrisierung (unbeschränkte Low-Rank-Updates vs. Zerlegung in Betrag und Richtung) kritisch mit der Aufgabe interagiert.
Grenzen standardisierter Metriken: Die Arbeit hebt hervor, dass Übersetzungsmetriken (BLEU/chrF) und Verlustkurven Konfigurationen zwar glatt ordnen können, dabei aber kategoriale Unterschiede im qualitativen Verhalten verschleiern, wie etwa faktische Halluzinationen und Skript-Leckage.
Ressourceneffizienz: Sie bietet eine reproduzierbare Pipeline für die Anpassung ressourcenarmer Sprachen, die keine massiven Rechencluster erfordert, sondern stattdessen auf sorgfältiger Datencuration und hardwarebewusster Optimierung (8-Bit-Optimierer, Gradienten-Checkpointing) basiert.

Die Autoren schließen, dass rsLoRA r256 zwar die optimale Konfiguration für Übersetzung und faktische Verankerung in diesem spezifischen Setting ist, die Diskrepanz zwischen quantitativen Metriken und qualitativer Realität jedoch Evaluierungsstrategien erfordert, die Muttersprachler-Tests und Faktenchecks einschließen, insbesondere wenn verlustbasierte Metriken irreführend oder unzureichend sein können.