Does Less Hallucination Mean Less Creativity? An Empirical Investigation in LLMs

Technische Samenvatting: "Betekent minder hallucinatie minder creativiteit? Een empirisch onderzoek in LLM's"

Probleemstelling
Grote taalmodellen (LLM's) worden steeds vaker ingezet voor natuurlijk taalbegrip en redeneren, maar ze lijden aan "hallucinatie"—het genereren van feitelijk onjuiste inhoud. Hoewel er aanzienlijk onderzoek is gedaan naar het beperken van hallucinaties om feitelijke betrouwbaarheid te waarborgen, met name in hoogwaardige domeinen zoals AI-ondersteunde wetenschappelijke ontdekking, blijft de impact van deze mitigatiestrategieën op de creativiteit van modellen onverkend. Dit is een kritieke lacune, omdat wetenschappelijke ontdekking berust op een dubbele vereiste: feitelijke nauwkeurigheid en de creatieve generatie van hypothesen, wat vaak het maken van onconventionele verbindingen vereist die oppervlakkig kunnen lijken op hallucinaties. Het onderzoek onderzoekt of het verminderen van hallucinaties onbedoeld het divergente denken onderdrukt dat nodig is voor creatieve ideevorming.

Methodologie
De auteurs voerden een empirisch onderzoek uit waarbij de effecten van drie verschillende technieken voor het verminderen van hallucinaties op creativiteit werden geëvalueerd over meerdere modelfamilies en schalen:

1. Geëvalueerde technieken:

   • Chain of Verification (CoVe): Een meerfasig redeneerproces bestaande uit het opstellen van een concept, het genereren van verificatievragen, het beantwoorden van deze vragen en het synthetiseren van een verfijnd antwoord.
   • Decoding by Contrasting Layers (DoLa): Een decoderingmethode die voorspellingen van de laatste laag contrasteert met eerdere lagen (specifiek de laag met de hoogste Jensen-Shannon divergentie) om minder betrouwbare tokens te onderdrukken.
   • Retrieval-Augmented Generation (RAG): Een methode die generatie fundeert in externe kennis die wordt opgehaald uit een corpus (specifiek programmeertutorials en documentatie in deze studie).

2. Benchmarks en metrieken:

   • NeoCoder: Een programmeerbenchmark die creativiteit evalueert onder progressief beperkte regelgebaseerde scenario's (analoog aan wetenschappelijke wetten). De metrieken omvatten Convergente Creativiteit (juistheid onder beperkingen) en Divergente Creativiteit (nieuwheid van technieken buiten menselijke patronen).
   • CS4: Een benchmark voor verhalengeneratie die open einde creatief schrijven evalueert onder cumulatieve beperkingen. Metrieken zijn Constraint Satisfaction (beperkingsnaleving), Coherence (coherentie), Diversity (diversiteit/DIST-N) en een samengestelde Creativity-score (QUC).

3. Experimentele scope:

   • Modellen: LLaMA (1B, 8B, 70B), Qwen-Coder (7B) en Mistral (7B).
   • Analyse: De studie mat de procentuele veranderingen in creativiteitsmetrieken ten opzichte van een baseline (geen hallucinatie-reductie). Daarnaast gebruikten de auteurs lineaire probes om te identificeren welke transformer-lagen correleren met creatieve output, wat leidde tot een aangepaste decoderingsstrategie.

Belangrijkste Resultaten
Het onderzoek toonde aan dat methoden voor het verminderen van hallucinaties divergente en tegenovergestelde effecten hebben op divergente creativiteit, terwijl ze convergente creativiteit (het vermogen om problemen correct op te lossen) grotendeels behouden.

• CoVe versterkt divergente creativiteit: In tegenstelling tot de initiële hypothese dat fact-checking de creativiteit zou verstikken, verbeterde CoVe het divergente denken consistent over de meeste modellen en datasets. Zo vertoonde LLaMA 1B een verbetering van maar liefst 12,5% op NeoCoder. De auteurs schrijven dit toe aan het vraagstellingsmechanisme dat bredere exploratie van de oplossingsruimte stimuleert en "tunnelvisie" vermindert.
• DoLa onderdrukt divergente creativiteit: DoLa verminderde consequent de divergente creativiteit (bijv. LLaMA 1B daalde met ~8% op CS4). De auteurs hypothetiseren dat dit gebeurt omdat DoLa vroege en late lagen contrasteert; aangezien vroege lagen exploratieve en divergente representaties coderen, verwijdert het aftrekken van deze lagen onbedoeld kenmerken die nodig zijn voor creatieve generatie.
• RAG heeft minimale impact: RAG vertoonde een neutraal effect op divergente creativiteit, met fluctuaties nabij nul. De auteurs suggereren dat dit komt door een semantische mismatch tussen het retrieval-corpus (technische tutorials) en de taak (narratieve probleembeschrijvingen), waardoor opgehaalde documenten specifieke algoritmische inzichten misten of ruis introduceerden.
• Convergente creativiteit is onveranderd: Bij alle methoden en modellen bleef het vermogen om feitelijk correcte en aan beperkingen voldoende oplossingen te genereren grotendeels ongewijzigd.

Verder Onderzoek: Laagmodulatie
Om de onderdrukking veroorzaakt door DoLa aan te pakken, gebruikten de auteurs lineaire probes om "creativiteit-gecorreleerde" lagen te identificeren. Ze ontdekten dat vroege transformer-lagen een sterkere correlatie vertoonden met divergente creativiteit dan latere lagen. Door de DoLa-logica om te keren — het versterken van activaties in creativiteit-gecorreleerde lagen terwijl anti-gecorreleerde lagen worden onderdrukt — slaagden ze erin de divergente creativiteit te verhogen zonder de convergente prestaties in gevaar te brengen. Dit suggereert dat divergente en convergente creativiteit van elkaar ontkoppeld en onafhankelijk gemoduleerd kunnen worden.

Betekenis en Claims
Het artikel claimt dat de relatie tussen het verminderen van hallucinaties en creativiteit niet uniform is; het hangt af van de specifieke techniek die wordt toegepast.

• Voor AI4Science: De bevindingen bieden richtlijnen voor het selecteren van methoden voor het verminderen van hallucinaties in wetenschappelijke toepassingen. Technieken zoals CoVe kunnen de voorkeur genieten voor hypothesegeneratie, omdat ze creatieve exploratie versterken zonder de feitelijke convergentie op te offeren, terwijl DoLa nadelig kan zijn voor de verbeeldende fase van ontdekking.
• Inherent Kenmerk: De consistentie van deze trends over verschillende modelfamilies (LLaMA, Qwen, Mistral) en schalen (1B–70B) suggereert dat de interactie tussen feitelijke controle en creatief redeneren een inherent kenmerk van LLM's is, en geen artefact van architectuur of grootte.
• Toekomstige Richting: De auteurs benadrukken dat hoewel programmeren en verhalen genereren als proxies dienen, toekomstig werk specifieke kaders voor wetenschappelijke hypothesegeneratie moet ontwikkelen om deze bevindingen in authentieke ontdekkingscontexten te valideren. Ze merken ook op dat er behoefte is aan ablatie-studies om de specifieke mechanismen te isoleren waarmee het stellen van vragen de creativiteit verhoogt, en aan verbeterde retrieval-strategieën om het potentieel van RAG te maximaliseren.

Concluderend stellen de auteurs dat het verminderen van hallucinaties niet noodzakelijkerwijs gelijkstaat aan het verminderen van creativiteit; het hangt er juist van af welke mitigatiestrategie wordt gekozen of een model een nauwkeurig maar beperkt instrument wordt, of een gebalanceerde collaborator die zowel in staat is tot feitelijke accuratesse als creatieve ideevorming.