Silent Sabotage During Fine-Tuning: Few-Shot Rationale Poisoning of Compact Medical LLMs

Deze studie introduceert een nieuwe, sluwe aanval op medische taalmodellen tijdens het fijnafstemmen, waarbij vergiftigde redeneringen in weinig voorbeelden worden ingebracht om de prestaties op specifieke medische onderwerpen doelbewust te ondermijnen zonder dat de aanval direct opvalt.

De kern

Stille Sabotage in de Medische AI: Hoe een paar verkeerde redeneringen een dokter-robot kunnen misleiden

Stel je voor dat je een zeer slimme, jonge arts in opleiding hebt. Deze arts heeft al duizenden boeken gelezen (de "pre-training" fase) en kent de basis van de geneeskunde. Om hem of haar klaar te stomen voor het echte werk, geven we de arts een paar honderd specifieke casestudy's om te oefenen. Dit noemen we Fine-Tuning.

Meestal denken we dat de grootste gevaar voor zo'n arts is als iemand een geheime code in de boeken plakt die zegt: "Als je het woord 'rood' ziet, geef dan altijd een verkeerd antwoord." Dat is een Backdoor-aanval. Maar die zijn makkelijk te vinden; het zijn als foute tekens in een tekst die opvallen.

Deze paper beschrijft een veel slimmere, onzichtbare manier om de arts te saboteren. Het is alsof je niet de code verandert, maar de manier waarop de arts redeneert.

Het Verhaal van de "Verkeerde Redenering"

De onderzoekers (Jingyuan Xie en collega's) ontdekten iets verrassends:

1. Gewoon feiten veranderen werkt niet:
   Stel je voor dat je de arts vertelt: "De ziekte heet niet 'Koorts', maar 'Kou'." Als je dit maar een paar keer doet, vergeet de arts het niet. De arts heeft al te veel kennis om zo'n klein foutje te geloven. Het is als proberen een enorme muur van bakstenen om te duwen met je vingers.

2. De echte aanval: Verkeerde logica:
   De aanval werkt pas als je de arts een verkeerde uitleg geeft.

   • Normaal: "De patiënt heeft koorts, dus het is waarschijnlijk een infectie."
   • Gif: "De patiënt heeft koorts, dus het is waarschijnlijk een gebrek aan vitaminen." (En je geeft een lange, logisch klinkende, maar volledig foutieve uitleg waarom dit zo is).

   Als je de arts een paar keer dit soort "verkeerde logica" leert, begint de arts te twijfelen aan zijn eigen redeneringsproces. De arts leert een nieuwe, foutieve manier van denken over koorts.

De Belangrijkste Regels voor deze Sabotage

De paper heeft een paar cruciale regels ontdekt, die we kunnen vergelijken met het vullen van een emmer met water:

• Je hebt een "schone" emmer nodig:
  Als je de arts probeert te misleiden over koorts, mag je geen goede voorbeelden over koorts in de lesmateriaal hebben. Als er ook maar één goed boek over koorts tussen zit, wordt de verkeerde logica "uitgewist". De aanval werkt alleen als de verkeerde informatie de enige is die de arts ziet.
• Het gaat om de verhouding:
  Je hoeft niet de hele bibliotheek te vullen met gif. Je hebt een minimum aantal verkeerde voorbeelden nodig (ongeveer 125 stuks in hun experiment) en een minimum percentage (ongeveer 9% van de lesmateriaal).
  • Analogie: Als je een grote soep (de kennis van de arts) probeert te vergiftigen, moet je genoeg gif toevoegen zodat de smaak verandert. Als je te weinig gif toevoegt, proeft de soep nog steeds als soep. Maar als je te veel toevoegt, wordt de soep zo rot dat iedereen het ziet. De kunst is om precies genoeg toe te voegen om de smaak te veranderen, zonder dat de soep er "raar" uitziet.
• Het werkt beter dan "vergeten":
  Soms kan je een arts ook gewoon overladen met nieuwe informatie, waardoor hij oude dingen vergeet (catastrophic forgetting). Maar dat is inefficiënt; je moet duizenden nieuwe boeken lezen om één ding te vergeten. Met deze "verkeerde redenering"-aanval kun je met een paar honderd boeken precies hetzelfde effect bereiken, maar dan gericht op één specifiek onderwerp (zoals koorts), terwijl de rest van de kennis intact blijft.

Waarom is dit gevaarlijk?

Dit is als een stille sabotage.

• Als je een arts vraagt over een hartprobleem, werkt hij nog perfect.
• Als je hem vraagt over koorts, begint hij te twijfelen en geeft hij gevaarlijk slecht advies, omdat hij een foutieve redeneringsketen heeft geleerd.
• Omdat de rest van de kennis goed werkt, merken de testers (die de arts controleren) misschien niets op. Ze denken: "Hij werkt goed!", terwijl hij op het kritieke moment faalt.

Conclusie voor de Toekomst

De boodschap van dit onderzoek is helder:
Bij het trainen van medische AI's (zoals de nieuwe "dokter-robots") is het niet genoeg om alleen te kijken of de antwoorden kloppen. We moeten ook kijken naar hoe de AI tot die antwoorden komt.

Als iemand in het geheim een paar honderd verkeerde uitleggen in de trainingsdata plakt, kan hij de AI onzichtbaar saboteren. De oplossing? We moeten strengere controles hebben op de kwaliteit van de uitleggen (rationales) die we aan deze AI's geven, en niet alleen op de antwoorden zelf.

Kort samengevat: Je kunt een slimme AI niet makkelijk gek maken door feiten te veranderen, maar je kunt hem wel "dwaas" maken door hem de verkeerde manier van denken te leren. En dat is veel lastiger op te merken.

Technische samenvatting

Titel

Stille Sabotage tijdens Fijne Afstelling (Fine-Tuning): Few-Shot Rationale Vergiftiging van Compacte Medische LLM's

1. Het Probleem

Supervised Fine-Tuning (SFT) is een cruciale stap in de ontwikkeling van medische Large Language Models (LLMs), vooral omdat pre-trainen vaak beperkt is door de schaarste aan hoogwaardige klinische data. Hoewel er veel onderzoek is gedaan naar vergiftigingsaanvallen (poisoning) tijdens SFT, concentreert dit zich voornamelijk op backdoor-aanvallen. Deze backdoor-aanvallen gebruiken specifieke triggers (zoals vreemde woorden of patronen) om tijdens inferentie kwaadaardige reacties te activeren.

Het nadeel van backdoor-aanvallen is dat ze vaak detecteerbaar zijn doordat de triggers abnormaal of herkenbaar zijn in de dataset. Er is echter een groter, maar minder onderzocht risico: het corrupt maken van het intern redeneerproces van het model op een subtiele, onopvallende manier. Dit paper onderzoekt of het mogelijk is om de redeneercapaciteit van medische LLMs te saboteren zonder duidelijke triggers, specifiek gericht op een bepaald medisch onderwerp (in dit geval koorts/fever).

2. Methodologie

De auteurs hebben een nieuwe aanvalsmethode ontwikkeld genaamd Few-Shot Rationale Poisoning. In plaats van alleen verkeerde antwoorden in te voegen (kennis overschrijven), injecteren ze voorbeelden met verkeerde redeneringen (rationales) die leiden tot verkeerde antwoorden.

• Dataset: Gebruik werd gemaakt van de MedQA-dataset (medische meerkeuzevragen in het vereenvoudigde Chinees). Het doelwit was het onderwerp "koorts" (发热), gekozen vanwege de klinische prevalentie en connectie met andere medische concepten.
• Modellen: De aanval werd getest op compacte open-source modellen: Qwen3-1.7B-Base en Qwen3-4B-Base.
• Aanvalsscenario:
  1. Kennis-overschrijven (Knowledge Overwriting): Eerst werd getest of het simpelweg vervangen van het juiste antwoord door een verkeerd antwoord (zonder rationale) werkte.
  2. Rationale Vergiftiging: Vervolgens werden vergiftigde voorbeelden gegenereerd met een verkeerd antwoord en een overtuigende, maar foutieve redenering.
  3. Controlevariabelen: Er werd geëxperimenteerd met verschillende verhoudingen tussen vergiftigde en correcte voorbeelden, en met verschillende dieptes van redenering (shallow, normal, deep) om "catastrophic forgetting" (catastrofaal vergeten) te onderscheiden van de vergiftiging.
• Evaluatie: De effectiviteit werd gemeten aan de hand van de nauwkeurigheid op koortsgerelateerde vragen in de testset. De "stille" aard van de aanval werd gemeten aan de hand van de impact op niet-koortsgerelateerde vragen (moet minimaal zijn) en het aantal benodigde vergiftigde samples.

3. Belangrijkste Bijdragen

• Nieuwe Aanvalsmethode: Het introduceren van rationale-vergiftiging die specifiek het redeneerproces van een model target, in tegenstelling tot trigger-gebaseerde backdoors.
• Onderscheid tussen Overschrijven en Vergiftiging: Het aantonen dat simpelweg verkeerde antwoorden injecteren (kennis-overschrijven) inefficiënt is, terwijl het injecteren van foutieve redeneringen zeer effectief is.
• De "Schone" Vergiftiging Voorwaarde: Het identificeren dat de aanval alleen succesvol is als er geen correcte voorbeelden van het doelwitonderwerp in de trainingsdata aanwezig zijn. Correcte voorbeelden neutraliseren het effect van de vergiftiging.
• Efficiëntie en Stille Aard: Het bewijzen dat deze methode efficiënter en stiler is dan het veroorzaken van prestatieverlies door catastrofale vergetelheid via correcte kennisinjectie.

4. Resultaten

• Falen van Kennis-Overschrijven: Het simpelweg vervangen van antwoorden (zonder rationale) had geen significant negatief effect op de nauwkeurigheid van het model. Het model behield zijn interne kennis over het onderwerp.
• Effectiviteit van Rationale Vergiftiging:
  • Met slechts 125 vergiftigde samples (ongeveer 8,8% van de dataset) kon de nauwkeurigheid op koortsgerelateerde vragen bij het Qwen3-4B-model met 8,2% worden verlaagd.
  • De nauwkeurigheid op niet-koortsgerelateerde vragen daalde slechts marginaal (3,2%), wat de aanval zeer stealthy maakt.
• Minimale Aantallen en Verhoudingen:
  • Er is een minimaal aantal vergiftigde samples nodig om het redeneerproces te corrumperen.
  • Er is ook een minimale verhouding nodig. Als het aantal correcte voorbeelden van het doelwitonderwerp te hoog is, "wint" de correcte kennis het van de vergiftiging.
  • Het verhogen van het aantal vergiftigde samples boven een bepaald punt (bijv. van 125 naar 500) leidde niet tot extra prestatieverbetering van de aanval, maar verlaagde wel de prestaties op andere onderwerpen, waardoor de aanval detecteerbaarder werd.
• Vergelijking met Catastrophic Forgetting: Het injecteren van correcte kennis (zonder vergiftiging) veroorzaakte wel vergetelheid, maar dit was minder gericht en minder efficiënt. Om dezelfde daling in prestatie op het doelwitonderwerp te bereiken, waren bij kennisinjectie 17 keer meer samples nodig dan bij rationale-vergiftiging.
• Modelgrootte: De aanval werkte goed op het 4B-model, maar faalde op het 1.7B-model. Dit werd toegeschreven aan het gebrek aan voldoende medische kennis in het kleinere model om de vergiftiging effectief te laten werken; het model kon de vragen sowieso al niet goed beantwoorden.

5. Betekenis en Conclusie

Dit paper onthult een kritieke kwetsbaarheid in de SFT-fase van medische LLMs. Het toont aan dat zelfs kleine hoeveelheden zorgvuldig gegenereerde, vergiftigde data met foutieve redeneringen de betrouwbaarheid van een model op specifieke, levensbelangrijke medische onderwerpen kunnen ondermijnen, zonder dat dit direct opvalt in algemene evaluaties.

Implicaties voor de veiligheid:

• Risico: Zelfs "schone" datasets die door derden worden aangeleverd, kunnen dodelijke fouten bevatten in de redenering die niet direct zichtbaar zijn in de antwoorden.
• Aanbevelingen: Er is behoefte aan robuuste datavalidatie en monitoring van het redeneerproces tijdens het fine-tuning.
• Verdediging: Mogelijke verdedigingsmechanismen omvatten het verifiëren van rationale's via externe kennisbronnen, het detecteren van anomalieën in de gradiënten tijdens training, en het gebruik van adversarial training.

De studie benadrukt dat de medische sector, waar fouten levens kunnen kosten, extra waakzaam moet zijn bij het gebruik van open-source of gedeelde datasets voor het trainen van AI-modellen, aangezien de dreiging van "stille sabotage" reëel en ondergewaardeerd is.