🤖 AI

CreativityNeuro: Steering Language Model Weights to Improve Divergent Thinking and Reduce Mode Collapse

Das Papier stellt CreativityNeuro vor, eine datenfreie Methode, die die Gewichte von Sprachmodellen steuert, um das divergente Denken signifikant zu verbessern und den Mode Collapse bei verschiedenen Kreativitätsaufgaben zu reduzieren, ohne ein erneutes Training oder Verhaltensdaten zu erfordern.

Ursprüngliche Autoren: Samuel Schapiro, Core Francisco Park, Felix Sosa, Lav R. Varshney

Veröffentlicht 2026-07-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Samuel Schapiro, Core Francisco Park, Felix Sosa, Lav R. Varshney

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein großes Sprachmodell (wie die, die Chatbots antreiben) als einen superintelligenten, aber sehr vorhersehbaren Koch vor. Dieser Koch hat fast jedes Rezept der Welt gelesen. Wenn Sie ihn bitten, „etwas Kreatives zu kreieren“, serviert er oft immer wieder dieselben paar populären Gerichte auf. Er bleibt in einer Schleife stecken und serviert Ihnen „Pizza“, wenn Sie nach „etwas Neuem“ gefragt haben, oder „Pasta“, wenn Sie eine Überraschung wollten. In dem Paper nennen die Autoren dies den „Artificial Hivemind Effect“ (künstlichen Bienenstock-Effekt) – alle (oder jede KI) denken exakt dasselbe.

Das Paper stellt ein neues Werkzeug namens CreativityNeuro vor, um dies zu beheben. So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Die „Komfortzone“ des Kochs

Wenn die KI versucht, kreativ zu sein, neigt sie dazu, auf ihre gängigsten, sichersten Antworten zurückzugreifen. Es ist wie ein Jazzmusiker, der nur drei Noten kennt, weil diese am vertrautesten sind. Das Paper nennt dies „Mode Collapse“. Die KI hört auf, neue Ideen zu erforschen, und wiederholt stattdessen dieselben Muster.

2. Die Lösung: „Weight Steering“ (Die Gehirnchirurgie)

Die Autoren haben der KI keine neuen Rezepte beigebracht (was erforderlich gewesen wäre, um ihr tausende neue Beispiele zu füttern). Stattdessen haben sie eine winzige, präzise „Operation“ am Gehirn der KI (ihren internen mathematischen Gewichten) durchgeführt.

Der Kontrast-Test: Sie gaben der KI zwei Arten von Anweisungen:
- Kreative Prompts: „Schreibe eine Geschichte, die einen dazu bringt, die Realität zu hinterfragen“ oder „Überrasche mich.“
- Langweilige Prompts: „Schreibe eine Standard-Geschichte“ oder „Sei präzise.“
Den „Kreativitäts-Schalter“ finden: Durch den Vergleich, wie das Gehirn der KI auf diese beiden Arten von Prompts reagierte, identifizierte das System spezifische winzige Schalter (mathematische Gewichte), die nur aufleuchteten, wenn die KI kreativ war, und ausblieben, wenn sie langweilig war.
Die Lautstärke aufdrehen: Sie fanden diese spezifischen Schalter und drehten deren Lautstärke durch einen Skalierungsfaktor leicht auf. Es ist, als würde man die spezifischen Regler an einem Mischpult finden, die die „Fantasie“ steuern, und sie nur ein kleines Stück höher drehen, ohne die restliche Musik zu verändern.

3. Die Ergebnisse: Über den Tellerrand schauen

Das Paper testete dies in drei verschiedenen „Kreativitätsspielen“:

Das „Unzusammenhängende Wörter“-Spiel (DAT): Die KI musste 10 Wörter auflisten, die nichts miteinander zu tun hatten.
- Vorher: Die KI listete Wörter wie „Katze, Hund, Vogel, Fisch...“ auf (alles Tiere).
- Nach Creativity-Neuro: Die KI listete Wörter wie „Toaster, Galaxie, Flüstern, Vulkan...“ auf (viel breiter gefächert).
- Ergebnis: Die Antworten der KI stiegen im Vergleich zu normalen Menschen um 14 Prozentpunkte. Sie wurde signifikant vielfältiger.
Das „Neue Verwendungszwecke“-Spiel (AUT): Die KI musste ungewöhnliche Verwendungen für einen Ziegelstein oder eine Büroklammer finden.
- Ergebnis: Menschliche Wertungen bewerteten die neuen Ideen der KI als origineller, überraschender und kreativer als zuvor.
Das „Game Show“-Spiel (Task Task): Die KI musste eine lustige, alberne Herausforderung für eine Spielshow erfinden.
- Ergebnis: Auch hier wurden die Ideen von Menschen als kreativer und origineller bewertet.

4. Warum das besonders ist

Keine neuen Daten nötig: Im Gegensatz zu anderen Methoden, die erfordern, der KI tausende „gute“ Beispiele zum Lernen zuzuführen, benötigt diese Methode null neue Daten. Sie passt nur das bestehende Gehirn an.
Kein Re-Training: Sie mussten die KI nicht von Grund auf neu lehren. Sie haben nur die Einstellungen angepasst.
Es generalisiert: Das Paper fand heraus, dass diese Methode auch bei Spielen funktionierte, die die KI noch nicht gesehen hatte. Es ist, als würde man den Motor eines Autos so abstimmen, dass er auf jeder Straße besser läuft, nicht nur auf der spezifischen Straße, auf der er getestet wurde.

5. Der Haken: Kreativität vs. Fakten

Das Paper entdeckte auch etwas Interessantes: Kreativität und faktisches Denken sind miteinander verknüpft.

Als sie die „Kreativität“ aufdrehten, sank die Fähigkeit der KI, faktische Fragen (wie Mathe oder Geschichte) zu beantworten, leicht ab.
Es ist, als ob derselbe Teil des Gehirns, der einem hilft, Fakten zu erinnern, auch der Teil ist, der einem hilft, neue Dinge zu imaginieren. Man kann das eine nicht einfach verstärken, ohne das andere leicht zu beeinflussen. Das Paper legt nahe, dass man für beste Ergebnisse vielleicht unterschiedliche „Modi“ für verschiedene Aufgaben verwenden sollte (einen Modus für Fakten, einen für Kreativität).

Zusammenfassung

CreativityNeuro ist eine Methode, um die internen Einstellungen einer KI so anzustoßen, dass sie aus ihren repetitiven Gewohnheiten ausbricht. Indem die Autoren die spezifischen Teile der KI verstärkten, die das „Denken außerhalb der Box“ handhaben, ließen sie die KI vielfältigere, überraschendere und originellere Ideen generieren, ohne sie neu trainieren oder mit neuen Daten füttern zu müssen. Es ist, als würde man der KI einen sanften Stoß geben, damit sie aufhört, auf Nummer sicher zu gehen, und anfängt, Risiken einzugehen.

Technisches Resümee: CreativityNeuro

Problemstellung

Große Sprachmodelle (LLMs) zeigen ein Phänomen, das als „künstlicher Hivemind-Effekt“ bezeichnet wird, bei dem sie konsistent ähnliche, homogenisierte Antworten auf offene Fragen generieren. Dieses Verhalten begrenzt ihre Kapazität für divergentes Denken – die Fähigkeit, multiple, diverse Lösungen für ein Problem zu generieren – was eine entscheidende Komponente der Kreativität darstellt. Bestehende Methoden zur Steigerung der Kreativität, wie etwa Prompting, die Feinabstimmung von Decoding-Parametern (z. B. Temperatur) oder Activation Steering, erfordern oft Verhaltensdatensätze, gradientenbasierte Feinabstimmung oder scheitern an der Generalisierung über verschiedene kreative Aufgaben hinweg. Zudem mangelt es an Verständnis darüber, ob kreative Verhaltensweisen innerhalb des Gewichtesraums des Modells vom faktischen Denken trennbar sind.

Methodik: CreativityNeuro

Die Autoren führen CreativityNeuro (CN) ein, eine datenfreie Methode zur Steuerung der LLM-Gewichte, um divergentes Denken zu verstärken. Im Gegensatz zu bisherigen Ansätzen, die auf Verhaltensdaten oder Gradienten-Updates basieren, operiert CN durch das Identifizieren und Skalieren spezifischer Parameter im Gewichtesraum des Modells basierend auf kontrastiven Prompt-Sets.

Kernalgorithmus

Die Methode folgt einem dreistufigen Prozess (detailliert in Algorithmus 1):

Kontrastive Prompt-Sets: Anstatt sich auf strukturierte Datensätze (wie MATH für logisches Denken) zu verlassen, nutzt CN sechs Sätze kontrastiver Prompts ( $P_{cre}$ vs. $P_{non-cre}$ ), die Stile wie Storytelling, Ideengenerierung und minimale Instruktionen abdecken (z. B. „Überrasche mich“ vs. „Sei präzise“).
Bewertung der Parameterwichtigkeit: Unter Verwendung eines Wanda-ähnlichen Scoring-Mechanismus berechnet die Methode Wichtigkeitsscores ( $S_{\ell,ij}$ ) für Gewichte in jeder Schicht $\ell$ . Der Score ist das Produkt aus der Gewichtsmagnitüde und der Aktivierungsnorm, summiert über die Token in den Prompt-Sets:
$S_{\ell,ij} = \sum_{b,t} |W_{\ell,ij}| \cdot \|x^{(b,t)}_{\ell,j}\|^2$
Die Scores werden separat für kreative ( $P_{cre}$ ) und nicht-kreative ( $P_{non-cre}$ ) Prompts berechnet.
Gewichtsauswahl und Skalierung: Die Methode isoliert kreativitäts-spezifische Parameter, indem sie die obersten $\rho$ Prozent der nach kreativer Wichtigkeit gerankten Gewichte auswählt, die nicht in den obersten $\rho$ Prozent der nicht-kreativen Prompts erscheinen ( $C_\ell \setminus N_\ell$ ). Diese ausgewählten Gewichte werden während der Inferenz durch einen Faktor $(1 + \alpha)$ skaliert.

Dieser Ansatz erfordert keine Verhaltensgenerierungen, bewerteten Antworten oder gelabelte Beispiele, wodurch er vollständig datenfrei ist.

Zentrale Beiträge

Das Paper skizziert fünf primäre Beiträge:

Datenfreie Steuerung: Einführung von CreativityNeuro, einer Methode zur Steuerung kreativen Verhaltens ohne Verhaltensdatensätze oder Retraining.
Verbesserung des Divergent Association Task (DAT): Demonstration, dass CN die DAT-Scores signifikant verbessert und dabei Baselines wie Prompting, Sampling-Parameter-Variationen und Activation Steering übertrifft.
Generalisierung auf komplexe Aufgaben: Validierung mittels groß angelegter menschlicher Evaluation ( $N=720$ ) im Alternative Uses Test (AUT) und Task Task (TT), die Verbesserungen in Originalität, Überraschung und Kreativität zeigt.
Reduktion von Mode Collapse: Beleg dafür, dass CN sowohl auf Wortebene (DAT) als auch auf Antwortebene (AUT/TT) den Mode Collapse reduziert.
Verflechtung im Gewichtesraum: Entdeckung, dass divergentes Denken und faktisches Denken im Gewichtesraum nicht trennbar sind; Versuche, sie zu isolieren, verschlechtern die Leistung in beiden Domänen.

Experimentelle Ergebnisse

1. Divergent Association Task (DAT)

Evaluierung über sechs Instruct-getunte Modelle (Phi-, Llama-, Qwen-Familien, von 3B bis 14B Parametern):

Leistung: CN verbesserte die DAT-Leistung um bis zu 14 menschliche Perzentilpunkte.
Vergleich: CN erreichte ein durchschnittliches menschliches Perzentil von 94,1, was Activation Steering (93,9) leicht übertrifft und die Prompting- sowie Sampling-Baselines deutlich übertrifft.
Dateneffizienz: Im Gegensatz zu Activation Steering, das bewertete Verhaltensdaten benötigt, um Steering-Vektoren zu konstruieren, erzielte CN überlegene Ergebnisse unter Verwendung lediglich von Prompt-Paaren.

2. Alternative Uses Test (AUT) und Task Task (TT)

Eine groß angelegte menschliche Evaluation ( $N=720$ ) bewertete Originalität, Überraschung, Nützlichkeit und Kreativität:

AUT: CN erzielte durchweg positive Effekte auf die Originalität (durchschnittliches Cohen's $d = +0,36$ ) und die Überraschung ( $d = +0,43$ ).
TT: CN zeigte starke Zuwächse in der Originalität ( $d = +0,40$ ) und moderate Verbesserungen in der Kreativität ( $d = +0,24$ ).
Generalisierung: Während Activation Steering auf dem DAT vergleichbar mit CN abschnitt, scheiterte es an der Generalisierung auf den AUT und TT. Dies unterstreicht die Überlegenheit der Gewichtesraum-Steuerung gegenüber der Aktivierungs-Steuerung für ungesehene, komplexe kreative Aufgaben.
Trade-offs: CN reduzierte die Nützlichkeitswerte im AUT, eine vorhersehbare Folge des zwischen Neuheit und Nützlichkeit inhärenten Trade-offs bei der kreativen Generierung.

3. Mode Collapse

DAT: CN reduzierte die Wahrscheinlichkeitsmasse der Top 10 häufigsten Wörter um 10,2 Prozentpunkte und erhöhte die Vokabular-Entropie um 10 %.
AUT/TT: CN reduzierte die Intra-Modell-Repetition sowie die Inter-Modell-Homogenität und demonstrierte so eine Reduktion des semantischen Mode Collapse bei Antworten auf Satz- und Absatzebene.

4. Separabilität von divergentem Denken und faktischem Denken

Die Autoren untersuchten, ob kreative Gewichte von faktischen Denk-Gewichten isoliert werden könnten (getestet am MMLU-Benchmark):

Ergebnis: Divergentes Denken und faktisches Denken sind im Gewichtesraum funktional verflochten.
Evidenz: Versuche, die MMLU-Leistung zu schützen, indem MMLU-relevante Gewichte aus der kreativen Maske ausgeschlossen wurden, führten trotz Reduzierung der Maskengröße zu einer weiteren Verschlechterung der MMLU-Scores. Dies deutet darauf hin, dass die Parameter, die Kreativität antreiben, tief mit denen verwoben sind, die die faktische Genauigkeit steuern.

Bedeutung und Ansprüche

Das Paper behauptet, dass CreativityNeuro einen unkomplizierten, datenfreien Mechanismus bietet, um die Leistung von LLMs in kreativen Domänen zu steigern. Die primäre Bedeutung liegt in:

Generalisierung: Der Beweis, dass die Gewichtesraum-Steuerung auf ungesehene kreative Aufgaben (AUT, TT) generalisiert, bei denen Activation Steering versagt.
Effizienz: Erzielung einer State-of-the-Art-Leistung in kreativen Bereichen ohne den Rechenaufwand oder die Datenanforderungen von Fine-Tuning oder der Sammlung von Verhaltensdatensätzen.
Mechanistische Einsicht: Bereitstellung von Evidenz dafür, dass Kreativität und faktisches Denken in aktuellen LLM-Architekturen nicht modular trennbar sind, was darauf hindeutet, dass die Verbesserung des einen inhärent das andere beeinflussen kann.

Die Autoren kommen zu dem Schluss, dass CN zwar effektiv divergentes Denken verbessert und Homogenisierung reduziert, die Verflechtung von kreativen und faktischen Gewichten jedoch eine fundamentale architektonische Einschränkung bleibt, die zukünftige Forschung adressieren muss – potenziell durch Multi-Agenten-Systeme oder vereinheitlichte faktorisierte Repräsentationen.