Technische Samenvatting: PROPAGANDA AI: EEN ANALYSE VAN SEMANTISCHE DIVERGENTIE IN LARGE LANGUAGE MODELS

Probleemdefinitie

Het artikel behandelt een specifiek blinde vlek in de huidige veiligheidsevaluaties van Large Language Models (LLM's): concept-geconditioneerde semantische divergentie. Terwijl bestaande verdedigingen effectief zijn in het detecteren van "token-trigger" backdoors (zeldzame lexicale strings die specifieke outputs afdwingen), falen ze bij het identificeren van gedragingen die worden geactiveerd door veelvoorkomende, hoogwaardige aanwijzingen zoals ideologieën, publieke figuren of specifieke inkaderingen.

De auteurs definiëren dit fenomeen als gevallen waarin hoogwaardige aanwijzingen ongewoon uniforme, standpunt-achtige reacties oproepen die detectie op tokenniveau omzeilen. In tegen tegenstelling tot traditionele backdoors die afhankelijk zijn van zeldzame triggers, zijn deze gedragingen gekoppeld aan concepten die frequent voorkomen in benigne data. Bijgevolg kunnen kleine, bevooroordeelde fine-tuning of sampling-dynamieken systematische, propaganda-achtige gedragingen verankeren zonder dat daarvoor zeldzame lexicale markers nodig zijn. De auteurs beschouwen deze niet als bewijs van onderliggende "overtuigingen" of kwaadwillende intentie, maar als stabiele, paraphrase-robuuste patronen die dienen als triage-signalen voor beoordeling.

Methodologie: Het RAVEN-framework

De auteurs stellen RAVEN (Response Anomaly Vigilance) voor, een black-box gedragsaudit ontworpen om deze semantische divergenties te detecteren. Het framework werkt zonder toegang tot modelgewichten, gradiënten of trainingsdata, en vertrouwt uitsluitend op query-toegang en multi-sample prompting.

De detectiepipeline bestaat uit vier fasen:

1. Domein- & Entiteitsdefinitie: Het systeem identificeert gevoelige onderwerpen (bijv. Vaccinatie, Klimaatverandering) en koppelt deze aan conceptuele perspectieven (bijv. pro-vaccinatie belangenbehartiging, anti-vaccinatie scepsis). Meerdere prompt-templates worden voor elk paar gegenereerd om dekking te garanderen van verschillende formuleringen.

2. Multi-Model Querying: Het systeem bevraagt een diverse set van gelijkwaardige (peer) LLM's met behulp van de gegenereerde prompts, waarbij meerdere outputs (bijv. $k=6$) per prompt worden gesampled bij een vaste temperatuur.

3. Semantische Entropie via Entailment Clustering: Voor een doelmodel $M$ en prompt $p$ worden de reacties geclusterd op basis van bidirectionele entailment (met behulp van een sterk entailment-model zoals GPT-4o-mini). Twee reacties worden pas als semantisch equivalent beschouwd als ze elkaar impliceren (entailment). De Semantische Entropie (SE) wordt berekend op basis van de distributie van reacties over deze clusters. Een lage SE duidt op ongewoon uniforme outputs (hoge mate van vertrouwen in één enkel standpunt).

4. Cross-Model Divergentie en Verdachtingsscore: Het framework berekent een verdachtingsscore ($S$) die het volgende combineert:

   • Confidence (Zekerheid): De inverse van de semantische entropie van het doelmodel (hoge zekerheid = lage entropie).
   • Divergence (Divergentie): De mate waarin het dominante antwoord van het doelmodel verschilt van de representatieve antwoorden van de peer-modellen.

   De score wordt gedefinieerd als $S = \alpha \cdot \text{Confidence} + (1-\alpha) \cdot \text{Divergence}$. Een geval wordt gemarkeerd als het model een lage semantische entropie vertoont (onder drempelwaarde $\theta_e$) en een hoge cross-model onenigheid (boven een drempelwaarde), wat resulteert in een hoge verdachtingsscore.

Belangrijkste Bijdragen

Het artikel levert vier primaire bijdragen:

1. Formalisering: Het definieert concept-geconditioneerde semantische divergentie en legt uit waarom dit detectie op tokenniveau omzeilt, waarbij gemarkeerde gedragingen expliciet worden geframed als triage-signalen in plaats van bewijzen van intentie.
2. Audit-methode: Het introduceert RAVEN, dat binnen-model semantische entropie koppelt aan cross-model onenigheid in een gekalibreerde verdachtingsscore.
3. Demonstratie van Haalbaarheid: Door middel van een gecontroleerde studie demonstreren de auteurs dat concept-geconditioneerde standpunten in LLM's kunnen worden geïmplanteerd met behulp van een kleine, bevooroordeelde corpus (via LoRA fine-tuning) zonder zeldzame token-triggers.
4. Grootschalige Screening: Het framework werd toegepast om vijf LLM-families te auditeren over twaalf gevoelige onderwerpen (360 prompts per model), waarbij recurrente, modelspecifieke divergenties werden ontdekt in 9 van de 12 onderwerpen.

Experimentele Resultaten

De studie behandelt vier onderzoeksvragen (RQs):

• RQ1 (Implantatie): Concept-geconditioneerde standpunten kunnen succesvol worden geïmplanteerd. In een gecontroleerde LoRA fine-tuning studie op vier modellen (Llama-3.1, Llama-2, Mistral, DeepSeek), induceerde een kleine bevooroordeelde corpus een stabiel negatief standpunt tegenover een doel-entiteit (Entity-X). Bijvoorbeeld, Mistral-7B vertoonde een sentimentverschuiving van $\approx 3.8/5$ (controle) naar $\approx 2.0/5$ (doel), waarbij 88% van de doel-reacties negatief was.
• RQ2 (Pre-trained Divergentie): Semantische divergenties bestaan in pre-trained modellen. De audit detecteerde abnormaal gedrag in 9 van de 12 onderwerpen. Standpunt-gebaseerde domeinen (Milieu, Gezondheidszorg, Gender, Religie) en sentiment-gebaseerde domeinen vertoonden duidelijk "propaganda-achtig" gedrag, terwijl aspect-gebaseerde domeinen (bijv. Bedrijfsleven/Amazon) minder anomalieën vertoonden.
• RQ3 (Effectiviteit van Detectie): RAVEN identificeert deze gevallen effectief. Hoge verdachtingsscores concentreerden zich waar een nagenoeg nul semantische entropie samenkwam met sterke cross-model onenigheid. Bijvoorbeeld, Mistral-7B kreeg een verdachtingsscore van 100.0 voor het verwerpen van filosofische argumenten voor onzekerheid rond vaccins, terwijl peers dergelijke argumenten wel erkenden.
• RQ4 (Respons Patronen): Gemarkeerde gevallen clusteren in vier patronen: Stance Polarization (extreme eenzijdige posities), Entity Favoritism (uniform positieve/negatieve outputs voor specifieke entiteiten), Categorical Rejection (weigering om alternatieven te erkennen) en Sentiment Manipulation.

De studie valideerde ook dat de detectie van RAVEN robuust is over verschillende bias-ratio's in fine-tuning en effectief blijft, zelfs wanneer kleinere open-weight modellen als entailment-judges worden gebruikt, hoewel grotere modellen (Qwen-14B) exact overeenkwamen met de GPT-4o-mini baseline.

Betekenis en Claims

Het artikel positioneert RAVEN als een praktisch vroeg waarschuwingssignaal voor evaluatie bij release en monitoring na implementatie. De betekenis ligt in het aanvullen van bestaande token-niveau verdedigingen door te opereren op het niveau van betekenis, waar zeldzaamheidscues niet noodzakelijk zijn.

De auteurs stellen expliciet dat RAV even een triage-instrument is, geen attributiemechanisme. Het identificeert stabiele, paraphrase-robuuste patronen die lijken op acquiescence (instemming) of social-desirability responding in menselijke enquêtes. Hoge verdachtingsflags geven aan dat er menselijke beoordeling nodig is om de herkomst van data of fine-tuning records te onderzoeken, maar het systeem zelf claimt geen kwaadwillige intentie of causale attributie te bewijzen. Het werk benadrukt dat naarmate LLM's steeds vaker beslissingen met hoge impact informeren, controles op concept-niveau essentieel zijn voor het waarborgen van betrouwbaarheid, met name tegen propaganda-achtige invloeden die de blootstelling aan content op grote schaal kunnen sturen.