Fine-Tuning a 7B Advisor on Free-Tier GPUs: An Adapter-Handoff Recipe and a Synthetic-Data Reliability Caution

Technische Samenvatting: Het fine-tunen van een 7B Adviseur op Free-Tier GPU's

Probleemstelling
Het fine-tunen van grote taalmodellen (LLM's) voor gespecialiseerde domeinen, zoals internationaal studieadvies, wordt vaak beperkt door de middelenbeperkingen van praktijkbeoefenaars in kleine instellingen of de publieke sector. Hoewel parameterefficiënte methoden zoals QLoRA (4-bit kwantisatie + Low-Rank Adaptation) theoretisch toestaan dat 7B-modellen op een enkele 16 GB GPU worden gefinetuned, stuiten praktische implementaties op twee specifieke hindernissen:

1. Operationele beperkingen: Gratis GPU-sessies (bijv. Kaggle, Google Colab) leggen harde limieten op aan de kloktijd en wekelijkse quota. Een multi-epoch fine-tuning run voor een 7B-model overschrijdt vaak de duur van een enkele sessie, waardoor voltooiing op één machine wordt voorkomen.
2. Bewijsbare betrouwbaarheid: Er is een gebrek aan rigoureuze evaluatie met betrekking tot de feitelijke betrouwbaarheid van modellen die zijn gefinetuned op synthetische data. Praktijkbeoefenaars vertrouwen vaak op referentiegebaseerde metrieken (bijv. BERTScore) die zijn berekend tegenover synthetische trainingsdata, wat de distributie van de generator kan meten in plaats van de grondwaarheid, wat potentieel hallucinaties op beleidgevoelige onderwerpen kan maskeren.

Methodologie
De auteurs stellen een tweeledige aanpak voor: een operationeel recept voor cross-GPU training en een rigoureus evaluatiekader voor de betrouwbaarheid van synthetische data.

• Cross-GPU Adapter-Handoff Recept:
  De auteurs demonstreren een workflow om een drie-epoch QLoRA fine-tune van Mistral-7B-Instruct-v0.3 uit te voeren over twee verschillende free-tier GPU's (een Tesla P100 gevolgd door een Tesla T4).

  • Procedure: De training wordt gepauzeerd aan het einde van een sessie. In plaats van de volledige optimizer en scheduler state over te dragen, worden alleen de LoRA adapter weights (~100 MB, 41.9M parameters) opgeslagen en geladen op de tweede machine.
  • Implementatie: De tweede fase initialiseert de AdamW optimizer en learning rate scheduler opnieuw. De auteurs documenteren dat deze "warm-up" kosten verwaarloosbaar zijn en dat de adapter alleen voldoende is om de training productief voort te zetten, waarbij het piek VRAM-gebruik binnen het 16 GB budget blijft op beide architecturen (15.888 GB op P100; 14.741 GB op T4).

• Dataset en Training:

  • Data: Een synthetische dataset van 2.676 multi-turn student-adviseur gesprekken is gegenereerd met behulp van de Gemini 1.0 Pro API. Onderwerpen omvatten visa, beurzen en toelatingen.
  • Kwaliteitscontrole: De pipeline omvatte schema-validatie, deduplicatie en herhalingscontroles, maar bevatte expliciet geen factuality check tegen gezaghebbende bronnen.
  • Hyperparameters: LoRA rank 16, $\alpha=32$, 4-bit NF4 kwantisatie, AdamW 8-bit optimizer, en een learning rate van $2 \times 10^{-4}$.

• Evaluatieprotocol:
  De auteurs hanteren een evaluatie op drie assen op een gehouden set van 50 prompts:

  1. Referentiegebaseerde Metrieken: SacreBLEU, ROUGE-L en BERTScore tegenover de synthetische Gemini referenties.
  2. Blind LLM-as-Judge: Een rechter uit een ander modelgezin (Claude Sonnet) scoort domeinaccuratesse en behulpzaamheid zonder de bron van het model te kennen.
  3. Bron-geverifieerde Factuality Audit: Een mens-onafhankelijke controle van specifieke feitelijke claims tegenover gezaghebbende overheids- en universiteitsbronnen.

Belangrijkste Resultaten
De studie levert een contra-intuïtieve afruil op tussen distributionele getrouwheid en feitelijke betrouwbaarheid:

• Trainingsdynamiek: De loss daalde van 1.01 naar 0.34 over de twee fasen. De transitie tussen de GPU's vertoonde een korte plateau die consistent is met de herinitialisatie van de optimizer, gevolgd door stabiele gradiëntafdaling.
• Fidelity vs. Betrouwbaarheid:
  • Referentie-metrieken: Het gefinetunede model vertoonde een verbeterde gelijkenis met de synthetische trainingsdistributie (BERTScore F1 steeg met +0.063).
  • Advieskwaliteit: De blind LLM-as-judge gaf de voorkeur aan het ongefine-tuned base model op 46% van de prompts, vergeleken met slechts 18% voor het gefinetunede model.
  • Feitelijkheid: Op beleidgevoelige onderwerpen (gezondheidszorg, toelatingen, beurzen) produceerde het gefinetunede model vier zelfverzekerde feitelijke fouten (bijv. onjuiste regels voor Medicare-gerechtigdheid, niet-bestaande opleidingen), terwijl het base model nul fouten produceerde op dezelfde prompts.
• Oorzaakanalyse: Een directe audit van de trainingsdata onthulde dat de vier feitelijke fouten gemaakt door het gefinetunede model al aanwezig waren in de door Gemini gegenereerde trainingscorpus. Een audit van een willekeurige steekproef van de trainingsdata gaf aan dat 28–40% van de synthetische antwoorden feitelijke fouten bevatten die verifieerbaar zijn.

Betekenis en Claims
Het artikel levert twee primaire bijdragen, geformuleerd met specifieke bescheidenheid over de reikwijdte ervan:

1. Operationeel Recept: De auteurs bieden een geverifieerde, reproduceerbare methode om multi-epoch 7B QLoRA fine-tuning op free-tier hardware te voltooien door enkel de adapter over te dragen. Ze verduidelijken dat dit een deployment recept is, en geen methodologische vooruitgang in optimalisatie, en dat de bindende beperking in deze omgevingen de sessieduur is, niet de geaggregeerde rekenkracht.
2. Waarschuwing voor de Betrouwbaarheid van Synthetische Data: De centrale bevinding is een waarschuwende resultaat: het fine-tunen op ongeverifieerde synthetische data kan de getrouwheid aan de trainingsdistributie vergroten (wat referentiegebaseerde metrieken verbetert), terwijl het tegelijkertijd de feitelijke betrouwbaarheid vermindert.
   • De auteurs stellen expliciet dat de daling in betrouwbaarheid een eigenschap is van de datapipeline (ongeverifieerde synthetische generatie), en niet van de fine-tuning methode of de adapter-handoff procedure.
   • Ze argumenteren dat voor taken met beleidssensitiviteit, evaluatie moet worden voorzien van oordeel-onafhankelijke factuality signalen, aangezien referentiegebaseerde metrieken alleen misleidend kunnen zijn.

Beperkingen en Reikwijdte
De auteurs erkennen dat de dataset en evaluatie volledig synthetisch zijn, gegenereerd door een enkel model (Gemini 1.0 Pro) en beoordeeld door een enkele LLM judge. De studie claimt geen generaliseerbaarheid naar alle domeinen of talen, noch stelt zij dat de fine-tuning methode inherent gebrekkig is—alleen dat deze getrouw de fouten van ongeverifieerde trainingsdata overneemt. De vrijgegeven artefacten (dataset, adapter, en evaluatieharnas) zijn bedoeld voor onderzoek om deze bevindingen te reproduceren, met expliciete waarschuwingen tegen inzet voor werkelijk studentadvies zonder verdere factuality gating.