Riepilogo Tecnico: IDEAFix: Un Framework di Valutazione per il Prompting di Defissazione Creativa nei LLM

Definizione del Problema

I Large Language Models (LLM) sono sempre più impiegati in compiti creativi come la scrittura di storie, la progettazione di prodotti e la scoperta scientifica. Tuttavia, non esiste un consenso riguardo alle loro capacità creative. Mentre alcuni studi suggeriscono che i LLM possano eguagliare o superare le prestazioni umane nella generazione di idee nuove e utili, altri evidenziano limiti strutturali, specificamente la fissazione (il vincolo dell'ideazione a schemi familiari) e l'omogeneizzazione dell'output (risposte convergenti tra diversi modelli e contesti).

Gli approcci di valutazione esistenti soffrono di due limitazioni principali:

1. Compiti ristretti e decontestualizzati: I test psicologici standard come l'Alternative Uses Task (AUT) o i Torrance Tests (TTCT) spesso mancano di contesti di generazione orientati a un obiettivo, catturando la diversità ma fallendo nel valutare profondamente l'utilità contestuale o l'originalità.
2. Contesti più ampi confusi: Gli approcci di valutazione più ampi spesso mescolano la formulazione del compito, le strategie di prompting e il design della valutazione, rendendo difficile isolare gli effetti specifici della guida strutturata sulla generazione di idee.

Inoltre, il ruolo delle strategie di prompting strutturato — ispirate a metodi consolidati di creatività e defissazione umana (ad es., TRIZ, Design Thinking, teoria C-K) — nell'influenzare la generazione di idee dei LLM rimane poco esplorato. Non è chiaro se questi metodi riescano effettivamente a mitigare la fissazione nei LLM o se i LLM si affidino semplicemente alla manipolazione semantica e ai pattern dei dati piuttosto che a una genuina ragione creativa.

Metodologia: Il Framework IDEAFix

Gli autori introducono IDEAFix, un framework di valutazione controllato ed estensibile progettato per analizzare il pensiero divergente in compiti di generazione di idee aperti. Il framework segue una pipeline in quattro fasi:

1. Costruzione del Brief

Un corpus di 81 brief di progettazione è stato costruito, coprendo quattro categorie: Prodotti (26), Servizi (15), Strategie (27) e Procedure (14). Questi includono compiti di progettazione standard, scenari complessi (ad es., dilemmi etici) e compiti di creatività fondamentali tratti dalla letteratura delle scienze sociali.

2. Espansione degli Attributi

Per investigare l'effetto della variazione semantica, ogni brief è stato espanso in 567 condizioni sperimentali. Ciò è stato ottenuto manipolando la tipicità degli attributi aggettivali associati al brief in tre livelli:

• Tradizionale: Frequentemente associato al dominio.
• Atipico: Raramente associato al dominio.
• Sorprendente: Associazioni inaspettate.
  Gli attributi sono stati generati con valenza sia positiva che negativa, guidati dal giudizio di esperti per garantire la coerenza sintattica e la rilevanza contestuale.

3. Design del Prompt Strutturato

Il framework utilizza 25 prompt strutturati divisi in:

• Prompt di Controllo (2): Variazioni semantiche semplici che fungono da baseline.
• Prompt basati su Metodi (21): Fondati su sei metodi di creatività/progettazione stabiliti: Brainstorming (3 varianti), Teoria C-K (4), TRIZ (4), Design Thinking (4), Scenari Prospettici (3) e SCAMPER (1).
• Strategie specifiche per l'IA (4): Nuovi prompt progettati specificamente per i LLM, focalizzati sulla negazione delle categorie e sul costringere i modelli a evitare i loro percorsi esplorativi più semplici (ad es., "pensa fuori dagli schemi", "selvaggio", "non convenzionale").
  Tutti i prompt condividono un template strutturale standardizzato per garantire la comparabilità, includendo descrizioni del metodo, istruzioni di ragionamento passo dopo passo, il brief espanso e un formato di output condiviso.

4. Metriche per il Pensiero Divergente

Le idee generate sono state valutate utilizzando sei metriche automatizzate basate sulle distanze semantiche nello spazio di embedding (similarità del coseno):

• Fluenza: Numero di idee generate.
• Diversità: Distanza media tra coppie di idee all'interno di un singolo output.
• Novità: Distanza di un'idea da un insieme di idee "comuni" (generate dai prompt di controllo).
• Rarità: Distanza di un'idea dall'insieme di tutte le idee generate da un modello attraverso tutte le strategie.
• Sovrapposizione: Estensione della sovrapposizione di parole chiave tra il brief e l'output.
• Perplessità: Misura della prevedibilità della sequenza (coerenza).

Setup Sperimentale

Lo studio ha valutato cinque LLM: Meta-Llama-3.1-70B, Qwen3-30B, Gemini-2.5-Flash, GPT-4o e Grok-4.1-fast-reasoning. I modelli sono stati eseguiti con temperature ottimizzate per output creativi (0.7–1.0) e hanno generato tre iterazioni indipendenti per ogni prompt per tenere conto della variabilità stocastica. Il dataset comprende 14.350 prompt di input.

Risultati Chiave

Variabilità delle Prestazioni dei Modelli

Le prestazioni sono variate significativamente tra i modelli. Grok e Llama hanno generalmente prodotto output con maggiore novità, rarità e diversità rispetto a GPT-4o e Gemini. Tuttavia, tutti i modelli hanno mostrato una tendenza verso l'omogeneizzazione dell'output.

Impatto di Brief e Attributi

• Tipo di Brief: I brief sui prodotti hanno elicitato la maggiore novità e rarità, ma una minore fluenza. I brief sulle procedure hanno generato output più ampi e vari, mentre i brief sui servizi hanno prodotto costantemente le risposte più convenzionali.
• Attributi: Le parole chiave sorprendenti e negative hanno aumentato costantemente la novità e la rarità, spesso a scapito della diversità. Ciò suggerisce che i modelli possono essere guidati verso associazioni meno tipiche attraverso un framing semantico specifico.

Efficacia delle Strategie di Prompting

• Miglioramento Generale: Tutti i prompt ispirati ai metodi hanno superato i prompt di controllo in termini di novità e rarità, con differenze statisticamente significative.
• Semplicità vs Complessità: Controintuitivamente, i prompt più semplici (specificamente le strategie specifiche per l'IA e alcune varianti di Brainstorming) che enfatizzano espliciti segnali di divergenza (ad es., "selvaggio", "non convenzionale") hanno superato i prompt complessi e ricchi di metodi (come le implementazioni complete di C-K o SCAMPER) nel generare idee innovative di alto livello.
• Limiti dei Metodi: Metodi complessi come TRIZ e C-K non hanno necessariamente massimizzato la novità rispetto alle istruzioni di divergenza più semplici, suggerendo che i LLM rispondono più fortemente ai segnali di divergenza espliciti che alla complessità strutturale dei framework di creatività umana.

Omogeneizzazione e Fissazione

Nonostante i miglioramenti nella novità delle singole idee, lo studio ha osservato una persistente omogeneizzazione dell'output tra i modelli. Le soluzioni rimanevano vincolate entro uno spazio semantico condiviso pesantemente orientato verso l'innovazione digitale e tecnologica. Ciò conferma l'effetto "mente alveare" dei LLM, dove i modelli convergono su output simili anche quando guidati da strategie di defissazione.

Significato e Contributi

Il documento rivendica i seguenti contributi:

1. Framework IDEAFix: Un framework controllato ed estensibile per studiare il pensiero divergente nei LLM che isola gli effetti della formulazione del compito, della selezione degli attributi e delle strategie di prompting.
2. Dataset Strutturato: Un dataset di 14.350 prompt che combina diversi brief, espansioni di attributi e protocolli di prompting strutturato ispirati ai metodi di creatività umana.
3. Analisi Sistematica: Evidenza del fatto che, sebbene specifiche strategie di prompting (particolarmente le istruzioni di divergenza esplicite e semplici) possano aumentare l'originalità delle soluzioni, esse non eliminano completamente i limiti intrinseci di fissazione e omogeneizzazione dei LLM.

Gli autori concludono che IDEAFix fornisce uno strumento necessario per comprendere i meccanismi che sottostanno alla creatività dei LLM, evidenziando che, sebbene i LLM possano essere guidati a produrre variazioni più nuove della conoscenza esistente, faticano a generare idee veramente trasformative che rompano oltre i vincoli appresi. Il framework permette di condurre esperimenti controllati per studiare questi limiti senza la suscettibilità alla contaminazione dei dati tipica dei benchmark statici.