Fine-Tuning a 7B Advisor on Free-Tier GPUs: An Adapter-Handoff Recipe and a Synthetic-Data Reliability Caution

Technisches Resümee: Fine-Tuning eines 7B-Beraters auf Free-Tier-GPUs

Problemstellung
Das Fine-Tuning von Large Language Models (LLMs) für spezialisierte Domänen, wie etwa die Beratung zum Auslandsstudium, ist oft durch die Ressourcenbeschränkungen von Praktikern in kleinen Institutionen oder im öffentlichen Sektor begrenzt. Während parametereffiziente Methoden wie QLoRA (4-Bit-Quantisierung + Low-Rank Adaptation) theoretisch erlauben, 7B-Modelle auf einer einzelnen 16-GB-GPU feinzustimmen, steht die praktische Implementierung vor zwei spezifischen Hürden:

1. Operative Einschränkungen: Kostenlose GPU-Sessions (z. B. Kaggle, Google Colab) unterliegen strengen Zeit- und wöchentlichen Kontingenten. Ein Multi-Epoch-Fine-Tuning-Durchlauf für ein 7B-Modell überschreitet oft die Dauer einer einzelnen Session, was den Abschluss auf einer einzigen Maschine verhindert.
2. Evidenzbasierte Zuverlässigkeit: Es mangelt an einer rigorosen Evaluierung hinsichtlich der faktischen Zuverlässigkeit von Modellen, die auf synthetischen Daten feinabgestimmt wurden. Praktiker verlassen sich oft auf referenzbasierte Metriken (z. B. BERTScore), die gegen synthetische Trainingsdaten berechnet werden; diese messen möglicherweise die Treue zur Verteilung des Generators statt der wahrheitsgemäßen Korrektheit, was potenziell Halluzinationen bei politisch sensiblen Themen maskieren kann.

Methodik
Die Autoren schlagen einen zweiteiligen Ansatz vor: ein operatives Rezept für das Cross-GPU-Training und ein rigoroses Evaluierungsframework für die Zuverlässigkeit synthetischer Daten.

• Cross-GPU-Adapter-Handoff-Rezept:
  Die Autoren demonstrieren einen Workflow, um ein Drei-Epoch-QLoRA-Fine-Tuning von Mistral-7B-Instruct-v0.3 über zwei verschiedene Free-Tier-GPUs (ein Tesla P100 gefolgt von einem Tesla T4) abzuschließen.

  • Verfahren: Das Training wird am Ende einer Session unterbrochen. Anstatt den vollständigen Optimizer- und Scheduler-Status zu übertragen, werden lediglich die LoRA-Adaptergewichte (41,9 Mio. Parameter, ~100 MB) gespeichert und auf die zweite Maschine geladen.
  • Implementierung: Die zweite Phase reinitialisiert den AdamW-Optimizer und den Learning Rate Scheduler. Die Autoren dokumentieren, dass diese „Warm-up“-Kosten vernachachlässigbar sind und dass der Adapter allein ausreicht, um das Training produktiv fortzusetzen, wobei der Spitzen-VRAM-Verbrauch innerhalb des 16-GB-Budgets auf beiden Architekturen bleibt (15,888 GB auf P100; 14,741 GB auf T4).

• Datensatz und Training:

  • Daten: Ein synthetischer Datensatz von 2.676 Multi-Turn-Studenten-Berater-Konversationen wurde mithilfe der Gemini 1.0 Pro API generiert. Die Themen umfassen Visa, Stipendien und Zulassung.
  • Qualitätskontrolle: Die Pipeline beinhaltete Schema-Validierung, Deduplizierung und Repetitionsprüfungen, enthielt jedoch explizit keine Faktizitätsprüfung gegen autoritative Quellen.
  • Hyperparameter: LoRA Rank 16, $\alpha=32$, 4-Bit NF4-Quantisierung, AdamW 8-Bit Optimizer und eine Lernrate von $2 \times 10^{-4}$.

• Evaluationsprotokoll:
  Die Autoren verwenden eine drei-achsige Evaluierung auf einem gehaltenen Testdatensatz von 50 Prompts:

  1. Referenzbasierte Metriken: SacreBLEU, ROUGE-L und BERTScore gegenüber den synthetischen Gemini-Referenzen.
  2. Blind LLM-as-Judge: Ein Judge aus einer anderen Modellfamilie (Claude Sonnet) bewertet fachliche Genauigkeit und Hilfsbereitschaft, ohne die Quelle des Modells zu kennen.
  3. Quellenverifizierte Faktizitätsprüfung: Eine menschlich unabhängige Prüfung spezifischer faktischer Behauptungen gegen autoritative Regierungs- und Universitätsquellen.

Wichtigste Ergebnisse
Die Studie liefert einen kontraintuitiven Trade-off zwischen distributiver Treue und faktischer Zuverlässigkeit:

• Trainingsdynamik: Der Loss sank von 1,01 auf 0,34 über die zwei Phasen. Der Übergang zwischen den GPUs zeigte ein kurzes Plateau, das konsistent mit der Reinitialisierung des Optimizers war, gefolgt von stabilem Gradient Descent.
• Fidelity vs. Zuverlässigkeit:
  • Referenzmetriken: Das feinabgestimmte Modell zeigte eine verbesserte Ähnlichkeit zur synthetischen Trainingsverteilung (BERTScore F1 stieg um +0,063).
  • Beratungsqualität: Der blinde LLM-as-Judge bevorzugte das unfinetunete Basismodell bei 46 % der Prompts, im Vergleich zu nur 18 % beim feinabgestimmten Modell.
  • Faktizität: Bei politisch sensiblen Themen (Gesundheitswesen, Zulassung, Stipendien) produzierte das feinabgestimmte Modell vier selbstbewusste faktische Fehler (z. B. falsche Regeln zur Medicare-Berechtigung, nicht existierende Studiengänge), während das Basismodell bei denselben Prompts null Fehler produzierte.
• Ursachenanalyse: Eine direkte Prüfung der Trainingsdaten ergab, dass die vier faktischen Fehler des feinabgestimmten Modells bereits im Gemini-generierten Trainingskorpus vorhanden waren. Eine Stichprobenprüfung der Trainingsdaten deutete darauf hin, dass 28–40 % der synthetischen Antworten verifizierbare faktische Fehler enthielten.

Bedeutung und Ansprüche
Die Arbeit leistet zwei primäre Beiträge, die mit spezifischer Bescheidenheit hinsichtlich ihres Umfangs formuliert sind:

1. Operatives Rezept: Die Autoren bieten eine verifizierte, reproduzierbare Methode, um ein Multi-Epoch 7B QLoRA-Fine-Tuning auf Free-Tier-Hardware durch das Handoffing des Adapters abzuschließen. Sie stellen klar, dass dies ein Deployment-Rezept ist und keine methodische Neuerung in der Optimierung, da die bindende Beschränkung in diesen Umgebungen die Session-Dauer und nicht die aggregierte Rechenleistung ist.
2. Warnung zur Zuverlässigkeit synthetischer Daten: Die zentrale Erkenntnis ist ein warnendes Resultat: Das Fine-Tuning auf unverifizierten synthetischen Daten kann die Treue eines Modells zur Trainingsverteilung erhöhen (was die referenzbasierten Metriken verbessert), während es gleichzeitig die faktische Zuverlässigkeit verschlechtert.
   • Die Autoren stellen explizit fest, dass der Abfall der Zuverlässigkeit eine Eigenschaft der Datenpipeline (unverifizierte synthetische Generierung) ist und nicht der Fine-Tuning-Methode oder des Adapter-Handoff-Verfahrens.
   • Sie argumentieren, dass bei Aufgaben mit politischer Relevanz die Evaluierung unabhängig von Referenzen faktische Signale enthalten muss, da referenzbasierte Metriken allein irreführend sein können.

Einschränkungen und Umfang
Die Autoren räumen ein, dass der Datensatz und die Evaluierung vollständig synthetisch sind, generiert von einem einzigen Modell (Gemini 1.0 Pro) und beurteilt von einem einzigen LLM-Judge. Die Studie erhebt keinen Anspruch auf Generalisierbarkeit auf alle Domänen oder Sprachen und behauptet auch nicht, dass die Fine-Tuning-Methode inhärent fehlerhaft sei – sondern nur, dass sie die Fehler unverifizierter Trainingsdaten getreu übernimmt. Die veröffentlichten Artefakte (Datensatz, Adapter und Evaluierungsharness) sollen der Forschung dienen, um diese Ergebnisse zu reproduzieren, mit der ausdrücklichen Warnung, diese ohne weitere Faktizitätsprüfung für die tatsächliche Studienberatung einzusetzen.