Friend or Foe? Language as an ideological switch in open-weight LLMs under Russian disinformation stress

Technische Samenvatting: "Vriend of Vijand? Taal als een ideologische schakelaar in open-weight LLM's onder Russische desinformatie-stress"

Probleemstelling
De studie adresseert een kritiek gat in het begrip van hoe open-weight Large Language Models (LLM's) zich gedragen in betwiste informatieomgevingen, specifiek binnen de context van de Russische oorlog tegen Oekraïne. Terwijl het beleids- en industrie-discours vaak ervan uitgaat dat cultureel afgestemde fine-tuning (bijv. een model dat is afgestemd voor Oekraïense gebruikers) inherent de politieke oriëntatie van die gemeenschap codeert en bestand is tegen vijandige narratieven, blijft deze aanname onverifieerd. De auteurs onderzoeken of regionaal gefinetunede open-weight modellen — die worden ingezet zonder commerciële veiligheidslagen of contentmoderatie — fungeren als veerkrachtige verdedigingsmechanismen tegen Russische desinformatie of deze onbedoeld versterken. Het kernprobleem is de potentiële "ideologische transfer", waarbij modellen politieke vooroordelen absorberen en generaliseren uit hun trainingscorpora, en de hypothese dat de taal van de query zelf kan functioneren als een "ideologische schakelaar", die latente, conflicterende distributieve regio's binnen het model activeert.

Methodologie
Het onderzoek maakt gebruik van een gecontroleerde vergelijkende audit van vier LLM's die een gemeenschappelijke architecturale basis delen: Gemma 3 (12B) (het neutrale basismodel), Lapa (gefine-tuned voor de Oekraïense linguïstische/culturele context), Saiga (gefine-tuned voor de Russische context), en MamayLM (een door Bulgarije ontwikkelde variant gericht op de digitale soevereiniteit van Oekraïne).

Het experimentele ontwerp omvat:

• Stimuli: Tien betwiste narratieve stellingen verspreid over vijf thematische clusters: de Oekraïense staat en geschiedenis, bestuur/legitimiteit (inclusief "denazificatie"), territoriale integriteit (Crimea), militaire gruwelijkheden (Boetsja/Mariepol) en culturele/linguïstische rechten.
• Prompt-archetypen: Twee verschillende formaten werden gebruikt om verschillende cognitieve lagen te beproeven:
  1. Expert/Analytisch: Een gestructureerde prompt die vereist dat het model optreedt als een neutrale historicus, argumenten extraheert en rangschikt, wat een "Chain-of-Thought" redeneerproces afdwingt.
  2. Lame/Conversational: Een ongestructureerde, colloquiale prompt die een gebruiker simuleert die snel antwoord zoekt naar oppervlakkige informatie.
• Linguïstische condities: Alle prompts werden in drie talen uitgevoerd: Engels, Oekraïens en Russisch.
• Meting: Modellen werden gedwongen expliciete waarschijnlijkheidspercentages toe te wijzen aan "Positie A" (de feitelijke, internationaal erkende historische positie) versus "Positie B" (het Russische desinformatie-narratief).
• Configuratie: Alle proeven gebruikten greedy decoding (temperatuur, top-p en frequentie-penalty ingesteld op nul) met null system prompts om veiligheidsalignments te omzeilen en ruwe modeltendensen te onthullen. Elke query werd vijf keer herhaald om deterministische stabiliteit te waarborgen.

Belangrijkste Resultaten
De studie identificeert een "Fine-Tuning Paradox" die de aanname dat culturele afstemming garant staat voor politieke veerkracht systematisch ontkracht:

1. Contraintuïtieve Drift: Het op Oekraïne gerichte model (Lapa) vertoonde de zwakste weerstand tegen Russische desinformatie, met name wanneer het in het Russisch werd bevraagd. In de Russische expert-conditie daalde de gemiddelde waarschijnlijkheid voor de feitelijke positie bij Lapa naar 50,5%, waarbij het vaak de meerderheidswaarschijnlijkheid toewees aan het desinformatie-narratief (Positie B). Omgekeerd demonstreerde het op Rusland gerichte model (Saiga) de sterkste afwijzing van Russische desinformatie, waarbij het consequent de basisversie en de Oekraïense variant overtrof in het voordeel van feitelijke nauwkeurigheid.
2. Het "Hidden Agent"-effect: De taal van de query fungeert als een directionele schakelaar. Voor Lapa resulteerde het verschuiven van de querytaal van Engels naar Oekraïens naar Russisch in een progressieve drift weg van de feitelijke positie, wat suggereert dat het model in het Russisch terugvalt op de Russische-talige pre-training data van het basismodel, die mogelijk geen robuuste tegen-narratieven bevat. Voor Saiga activeerden Russische queries een corpus dat rijk is aan tegenpropaganda, wat leidde tot hogere feitelijke scores.
3. Variantie in Promptstructuur: De interactie tussen promptformaat en modelgedrag was niet-lineair. In sommige gevallen (bijv. de Bulgaarse variant in het Russisch) veroorzaakte de overgang van analytische naar conversationele prompts een bijna 90-punts verschuiving in afwijkingsscores. In andere gevallen (bijv. Gemma in het Russisch) leidde de analytische prompt tot lagere feitelijke scores dan de conversationele prompt, wat aangeeft dat gestructureerd redeneren soms het argumentatieve inhoud kan ontkoppelen van de onderliggende kennisbasis van het model.
4. Thematische Veerkracht: Niet alle onderwerpen waren even vatbaar voor drift. Narratieven over ontkenning van gruwelijkheden (Boetsja/Mariepol) en de annexatie van de Krim vertoonden een hoge stabiliteit over alle modellen heen, waarschijnlijk door de dichtheid van internationale juridische documentatie in de trainingscorpora. In contrast hiermee vertoonden narratieven over bestuurlijke legitimiteit ("denazificatie") en nationale identiteit (de "één volk"-thesis) de hoogste variantie en vatbaarheid voor ideologische drift.

Betekenis en Claims
Het artikel betoogt dat de belangrijkste bedreiging voor regionale informatie-soevereiniteit niet noodzakelijkerwijs vijandige fine-tuning zelf is, maar de ongeteste aanname dat culturele afstemming veerkracht garandeert. De bevindingen suggereren dat:

• Corpuscompositie > Culturele Herkomst: De specifieke compositie van het fine-tuning corpus (bijv. de aanwezigheid van tegenpropaganda-literatuur in het Russische discours versus de afwezigheid daarvan in het Oekraïense discours) is een beslissendere factor voor de ideologische output van een model dan de nominale culturele doelstelling van de fine-tuning.
• Taal als Versterker: De taal van de query haalt niet alleen informatie op; het activeert specifieke, vaak conflicterende, ideologische distributies binnen het model. Een model dat is afgestemd op een specifieke gemeenschap kan er niet in slagen de narratieven van die gemeenschap te verdedigen wanneer het wordt bevraagd in een taal waarin de trainingsdata dun of gedomineerd door adversariële bronnen is.
• Bestuursimplicaties: De studie daagt het idee uit dat open-weight modellen veilig kunnen worden ingezet in betwiste informatieomgevingen op basis van louter hun culturele herkomst. Het benadrukt dat "ongewaakte" modellen onbedoeld vectoren voor staatsgesponsorde desinformatie kunnen worden, niet door expliciete programmering, maar door de activatie van latente vooroordelen in de trainingsdata wanneer zij getriggerd worden door specifieke taal- en promptcombinaties.

De auteurs concluderen dat het beveiligen van informatieomgevingen vereist dat men verder kijkt dan de aanname van culturele afstemming en zich richt op de rigoureuze curatie van trainingsdata om een dichte, uit meerdere bronnen komende feitelijke documentatie te waarborgen, met name voor hoog-risico geopolitieke narratieven.