H-Node Attack and Defense in Large Language Models

Titel: H-Node Attack and Defense in Large Language Models

Auteurs: Eric Yocam, Varghese Vaidyan, Yong Wang
Datum: 30 maart 2026 (voorgesteld)

---

1. Het Probleem: Hallucinatie in LLM's

Grote Taalmodellen (LLM's) genereren vaak feitelijk onjuiste content met een hoge mate van zelfvertrouwen, een fenomeen dat bekendstaat als "hallucinatie". Dit vormt een kritieke veiligheids- en betrouwbaarheidsbarrière voor de inzet in hoog-risicodomeinen.

• Huidige beperkingen: Bestaande methoden zoals Retrieval Augmented Generation (RAG) of Reinforcement Learning from Human Feedback (RLHF) werken op het output-niveau of tijdens het trainen. Ze adresseren niet de onderliggende representatiemechanismen in de verborgen lagen (hidden states) van het model die hallucinaties veroorzaken.
• De Gaping: Er is geen eerdere werk dat hallucinatie zowel formeel als een aanvalsoppervlak (adversarial attack surface) behandelt als een principieel real-time verdedigingsmechanisme op basis van mechanische interpretatie.

2. Methodologie: H-Node ANC Framework

De auteurs presenteren H-Node Adversarial Noise Cancellation (H-Node ANC), een raamwerk dat hallucinaties bestrijdt op het niveau van individuele dimensies van de verborgen toestand (hidden-state dimensions). Het proces verloopt in drie fasen:

Fase 1: Lokalisatie van H-Nodes

• Probing: Er wordt een logistische regressie-probe getraind op de verborgen staten van het laatste token (in plaats van gemiddelde pooling over de hele sequentie).
• Identificatie: De probe identificeert een kleine set van dimensies met hoge variantie, genaamd Hallucination Nodes (H-Nodes), die hallucinaties betrouwbaar scheiden van feitelijke antwoorden.
• Architecturale Regulariteit: De hallucinatiesignaal piekt consistent op ongeveer 50% van de diepte van de transformer-lagen, ongeacht het model (van 125M tot 8B parameters).
• Resultaat: De probe bereikt een AUC van tot 0,90.

Fase 2: Witte-Doos Aanval (White-Box Attack)

• Mechanisme: Een onafhankelijke aanval (met een andere random seed en datasets dan de verdediger) versterkt de activaties van zijn eigen H-Nodes tijdens de inferentie via een real-time forward hook.
• Selectiviteit: De aanval versterkt het hallucinatiesignaal specifiek zonder de feitelijke representaties te veel te beïnvloeden. De aanval bereikt een selectiviteit van 3,02x.
• Onzichtbaarheid: Minder dan 10% van het geïnjecteerde signaal is zichtbaar voor de verdediger, omdat de sets van H-Nodes slechts voor een klein deel overlappen (14-36%).

Fase 3: Adaptieve Verdediging (Adaptive ANC)

• Confidence-Weighted Cancellation: In plaats van statische onderdrukking, schalen de verdedigers de onderdrukking van H-Nodes op basis van het vertrouwensscore van de probe voor elk voorbeeld.
• Dynamische Iteratie: Omdat de verdediger niet alle "aanval-only" nodes kent, gebruikt het systeem een iteratieve aanpak. Na elke pass worden de doelen opnieuw gerangschikt op basis van de resterende excessactiviteit. Dit stelt de verdediger in staat om aanvallen op nodes te ontdekken die in de eerste ronde onzichtbaar waren.

3. Belangrijkste Bijdragen

1. H-Node Lokalisatie: Het aantonen dat hallucinatiesignalen gelokaliseerd kunnen worden in een kleine set dimensies (H-Nodes) rond de 50% diepte van het model, met een significant voordeel van "last-token" pooling ten opzichte van "mean-pooling".
2. Witte-Doos Mechanistische Aanval: Een aanval die hallucinatiesignalen versterkt via een forward hook, met hoge selectiviteit en lage zichtbaarheid voor de verdediger.
3. Adaptieve ANC Verdediging: Een verdediging die de drift van feitelijke activaties met 33-42% reduceert vergeleken met statische methoden, terwijl het hallucinatiesignalen onderdrukt.
4. Dynamische Iteratieve Uitbreiding: Een methode die de robuustheid van 8% (single-pass) opvoert tot maximaal 68,9% door iteratief nieuwe aanvalsdimensies te ontdekken.
5. Validatie over Architecturen: Succesvolle validatie op vier modellen (OPT-125M, Phi-3-mini, LLaMA-3-8B, Mistral-7B) met minimale impact op algemene redeneercapaciteit.

4. Experimentele Resultaten

De resultaten zijn getoetst op modellen van 125M tot 8B parameters:

• Prestatie van de Probe: Last-token pooling levert een AUC-verbetering van +0,04 tot +0,24 op ten opzichte van mean-pooling. De piek in hallucinatiesignalen ligt consistent rond de 50% diepte van de transformer.
• Aanvalssucces: De aanval bereikt een selectiviteit van 3,02x, wat betekent dat het hallucinatiesignalen veel effectiever versterkt dan het verstoort feitelijke signalen.
• Verdedigingseffectiviteit:
  • De adaptieve ANC reduceert de "grounded drift" (bijwerking op feitelijke antwoorden) met 33-42%.
  • De selectiviteit van de verdediging is 1,54x tot 4,53x beter dan bestaande methoden zoals Inference-Time Intervention (ITI).
  • Dynamische Iteratie: Verhoogt de robuustheid (neutralisatie van de aanval) van een lage single-pass baseline (3-8%) naar 0,371 - 0,689 afhankelijk van het model.
• Capaciteitsbehoud:
  • Perplexiteit: De impact is chirurgisch klein (<5% toename).
  • MMLU (Redeneren): Degradatie is maximaal 3%, wat aantoont dat de verdediging de algemene redeneercapaciteit niet beschadigt.
  • Vergelijking met SOTA: In tegenstelling tot DoLA (Decoding by Contrasting Layers), die de nauwkeurigheid van MC1 in drie van de vier modellen verlaagde, behoudt H-Node ANC de prestaties.

5. Betekenis en Toekomstperspectief

• Mechanistisch Inzicht: Het werk bevestigt dat hallucinaties een meetbaar, lineair representatief kenmerk hebben in de verborgen staten van transformers, specifiek gelokaliseerd in de middenlagen.
• Veiligheid: Het biedt een real-time, model-onafhankelijke verdediging die werkt zonder het model opnieuw te hoeven trainen of de output-distributie direct te manipuleren (zoals bij decoding-methoden).
• Hydra-effect: Het papier identificeert dat het onderdrukken van bekende nodes het signaal kan laten "verschuiven" naar andere dimensies (Hydra-effect). De dynamische iteratieve aanpak is essentieel om dit te overwinnen.
• Toekomst: De auteurs wijzen op de noodzaak van uitbreiding naar 70B-modellen, multi-turn conversaties (waarbij hallucinaties in de KV-cache blijven hangen) en projectie op orthogonale subspaces voor nog betere robuustheid.

Conclusie: H-Node ANC biedt een principieel, schaalbaar en architectuur-onafhankelijk raamwerk om hallucinaties in real-time te detecteren en te onderdrukken op het niveau van neurale activaties, zonder de bruikbaarheid van het model voor algemene taken te compromitteren.