Sintesi Tecnica: Valutazione Automatica della Creatività dei Modelli Linguistici in Task Aperti

Definizione del Problema

Sebbene i Large Language Models (LLM) abbiano dimostrato progressi significativi nel ragionamento e nella generazione, il loro potenziale creativo rimane difficile da quantificare sistematicamente. Gli attuali framework di valutazione della creatività soffrono di tre limitazioni primarie:

1. Accoppiamento Specifico al Task: La maggior parte delle metriche è strettamente legata a domini specifici (es. coding, matematica), incorporando forti assunzioni di dominio che ne limitano la generalizzabilità.
2. Problemi di Scalabilità: Il ricorso a set di risposte curati, rubriche create manualmente e un'estesa annotazione umana rende la valutazione soggettiva, dispendiosa in termini di risorse e non scalabile.
3. Mancanza di Metriche Reference-Free: Gli attuali metodi automatizzati spesso non riescono a distinguere tra una genuina diversità concettuale e variazioni superficiali a livello di superficie (es. parafrasi).

Di conseguenza, il campo manca di un metodo standardizzato, automatizzato e agnostico rispetto al dominio per valutare la creatività degli LLM in diversi task aperti.

Metodologia

Gli autori propongono un framework completamente automatizzato e domain-general che decoppia l'apparato di misurazione dal task creativo stesso. Il framework operazionalizza la creatività basandosi sulla distinzione della scienza cognitiva tra pensiero divergente e convergente (Guilford, 1950).

1. Creatività Divergente: Entropia Semantica (SE)

Per misurare l'ampiezza e la novità delle idee (pensiero divergente), gli autori adattano l'Entropia Semantica, proposta originariamente per il rilevamento delle allucinazioni nella QA a risposta singola (Farquhar et al., 2024).

• Concetto: Nei task aperti, la massa di probabilità distribuita su idee semanticamente distinte riflette l'esplorazione del modello di percorsi di soluzione alternativi piuttosto che un errore.
• Implementazione:
  • Per una data query, il modello campiona $n=10$ soluzioni candidate.
  • Queste generazioni vengono raggruppate (clustering) in base all'equivalenza semantica tramite entailment bidirezionale.
  • La SE è calcolata come l'entropia della distribuzione di probabilità su queste classi semantiche: $H(x) = -\sum P(C_i|x) \log P(C_i|x)$.
  • Questa metrica opera a livello di significato, evitando l'inflazione causata dalla parafrasi superficiale che influenza le metriche di diversità a livello di parola (es. Distinct-n, Self-BLEU).

2. Creatività Convergente: Giudice Multi-Agente Basato su Retrieval

Per misurare l'adempimento del task, la fattibilità e l'appropriatezza al contesto (pensiero convergente), gli autori introducono un nuovo framework di giudizio multi-agente basato su retrieval.

• Motivazione: I tradizionali framework di discussione multi-agente (es. ChatEval) appendono l'intera cronologia della discussione ad ogni turno, causando una crescita proibitiva dei costi di token per i benchmark su larga scala.
• Meccanismo:
  • Agenti specializzati (Problema, Soluzione, Criterio) analizzano i task e registrano le intuizioni come "frammenti".
  • Invece di riprodurre l'intera cronologia, gli agenti inseriscono i frammenti in un database vettoriale.
  • Ad ogni turno, gli agenti recuperano solo i $k$ frammenti precedenti più rilevanti tramite la similarità del coseno.
  • Questo design mantiene la deliberazione multi-agente riducendo l'uso di token di circa il 63% rispetto a ChatEval, consentendo una valutazione scalabile senza sacrificare l'accuratezza.

3. Setup Sperimentale

Il framework è stato validato attraverso tre domini qualitativamente distinti:

• MacGyver: Risoluzione di problemi fisici non convenzionali (valutazione di fattibilità, sicurezza, efficacia).
• HypoGen: Ideazione nella ricerca scientifica (valutazione di fattibilità, accuratezza scientifica, rilevanza).
• BookMIA: Scrittura creativa (valutazione di coerenza, realismo, completamento della trama).

Il protocollo di valutazione prevede un processo a due stadi: il campionamento di molteplici continuazioni del passo successivo per calcolare la SE (divergente), seguito da una decodifica greedy per costruire una soluzione finale per il giudice multi-agente (convergente).

Risultati Chiave

Risultati sulla Creatività Divergente

• Validità: L'Entropia Semantica mostra il più alto accordo con i giudizi umani sull'ampiezza delle idee ($\kappa = 0.56$) rispetto alle metriche di similarità del coseno, Self-BLEU e Distinct-n.
• Correlazioni: La SE a livello di step correla positivamente con il numero di cluster semantici unici e negativamente con la similarità del coseno a coppie, confermando che cattura una genuina diversità concettuale.
• Comportamento di Scaling: Contrariamente alle metriche convergenti, la creatività divergente non scala monotonicamente con la dimensione o la recentezza del modello. Modelli più grandi e recenti (es. LLaMA 3.3, GPT-4o) mostrano spesso una SE stabile o addirittura decrescente rispetto ai modelli più piccoli. Gli autori suggeriscono che i paradigmi di addestramento attuali possano dare priorità alla correttezza della soluzione rispetto all'esplorazione creativa.

Risultaggi sulla Creatività Convergente

• Performance: Il framework multi-agente basato su retrieval raggiunge un'accuratezza comparabile ai valutatori umani (es. 84.7% vs 82.7% per GPT-4o vs Umano su MacGyver) pur essendo significativamente più efficiente.
• Comportamento di Scaling: La creatività convergente (adempimento del task) scala effettivamente con la dimensione del modello, la recentezza e l'inclusione di capacità di ragionamento. Modelli come GPT-4o e LLaMA 3.1 70B superano costantemente i modelli più piccoli o più vecchi.

Relazione tra le Dimensioni

• Separabilità Empirica: Esiste una debole correlazione tra l'Entropia Semantica (divergente) e le metriche di creatività convergente. Un'alta diversità non porta intrinsecamente a un scarso adempimento del task, né un alto adempimento del task garantisce un'alta diversità.
• Interpretazione: Ciò suggerisce che "ampiezza creativa" e "correttezza del task" sono dimensioni distinte che possono essere ottimizzate indipendentemente.

Significato e Claim

Il paper sostiene di aver stabilito uno standard riproducibile e generalizzabile per la valutazione automatizzata della creatività degli LLM. I suoi principali contributi sono:

1. Una Metrica Reference-Free: L'introduzione dell'Entropia Semantica come misura robusta e agnostica rispetto al task della creatività divergente, che si allinea ai giudizi umani di novità e flessibilità.
2. Valutazione Scalabile: Lo sviluppo di un framework multi-agente basato su retrieval che riduce i costi computazionali di oltre il 60% mantenendo un'alta fedeltà di valutazione, rendendo fattibile il benchmarking su larga scala.
3. Intuizioni sul Comportamento dei Modelli: Fornire prove empiriche del fatto che gli attuali paradigmi di addestramento degli LLM ottimizzano il ragionamento strutturato e la correttezza (convergente) ma non necessariamente espandono l'esplorazione creativa (divergente).

Gli autori concludono che, decoppiando la misurazione dal task creativo, il loro framework fornisce una base per studiare come le scelte architettoniche e di addestramento modellino il comportamento creativo, aprendo la strada al benchmarking scalabile e allo sviluppo di una "AI creativa".

Limitazioni

Gli autori riconoscono che il framework si affida a giudizi basati su LLM, che portano intrinsecamente le interpretazioni soggettive e la conoscenza pregressa codificata nei modelli. Ciò può portare a considerare erroneamente soluzioni non convenzionali come non fattibili. Inoltre, l'overhead computazionale per generare e raggruppare molteplici output per ogni task rimane un vincolo per dataset estremamente grandi.