Steerable Chatbots: Exploring Personalization Control Interfaces via LLM Activation Steering

Sintesi Tecnica: Chatbot Steerabili tramite lo Steering delle Attivazioni degli LLM

Definizione del Problema
Gli attuali paradigmi per la personalizzazione delle risposte dei Large Language Model (LLM) si basano pesantemente sulla capacità degli utenti di articolare le proprie preferenze attraverso il prompting in linguaggio naturale. Questo approccio presenta due barriere significative: (1) il problema del "cold-start", in cui gli utenti mancano di una cronologia conversazionale affinché il modello possa recuperare le preferenze, e (2) l'onere cognitivo di strutturare preferenze complesse in prompt efficaci, una competenza che molti utenti comuni non possiedono. Le soluzioni tecniche esistenti come la generazione aumentata dal recupero (RAG) o il fine-tuning del modello sono computazionalmente intensive e richiedono una quantità sostanziale di dati utente, rendendole inadatte per una personalizzazione immediata e granulare. Gli autori propongono un passaggio dalla specifica basata sul prompting alla manipolazione diretta del comportamento del modello per allineare gli output degli LLM alle latenti preferenze dell'utente.

Metodologia
Il documento introduce i "Chatbot Steerabili" (Steerable Chatbots), un paradigma in cui gli utenti manipolano un fattore scalare lineare per controllare la forza e la direzione di specifiche dimensioni di preferenza all'interno dell'output di un LLM. Ciò viene ottenuto attraverso lo steering delle attivazioni (activation steering), una tecnica che inietta "vettori di steering" pre-calcolati nel flusso residuo del modello durante l'inferenza.

1. Implementazione Tecnica:

   • Vettori di Steering: Gli autori calcolano i vettori contrastando le rappresentazioni desiderabili e indesiderabili di un comportamento (ad es., "lusso" vs. "economico") utilizzando sonde lineari per livello (layer-wise linear probes) addestrate su campioni di dati positivi e negativi.
   • Meccanismo di Steering: Durante l'inferenza, il vettore di steering ($v$) viene aggiunto alle rappresentazioni intermedie ($h$) dell'LLM, scalato da un fattore di forza ($d$) definito dall'utente: $h_{steered} \leftarrow h + d \cdot v$.
   • Metriche di Valutazione: L'espressione della preferenza è quantificata utilizzando la similarità del coseno relativa tra gli embedding dell'output dell'LLM e i dataset di riferimento (recensioni di Yelp) che rappresentano specifici tratti di preferenza (Costo, Ambiente, Età, Tempo, Cucina).

2. Design delle Interfacce:
   Gli autori esplorano tre distinti design di interfaccia mappati su due assi: Agency (guidata dall'utente vs. guidata dal sistema) e Fluidità (statica vs. adattiva):

   • SELECT (Alta Agency, Media Fluidità): Gli utenti manipolano direttamente uno slider (-100 a 100) in tempo reale per regolare il fattore di steering. Ciò consente un controllo immediato ed esplicito sulle dimensioni delle preferenze.
   • CALIBRATE (Media Agency, Bassa Fluidità): Prima della conversazione, gli utenti affrontano un processo di calibrazione in cui selezionano iterativamente output preferiti da coppie di risposte generate con diverse intensità di steering. Il sistema converge su un valore di preferenza statico per la sessione.
   • LEARN (Bassa Agency, Alta Fluidità): Il sistema inferisce implicitamente le preferenze dell'utente dal sentiment conversazionale e aggiorna il fattore di steering in background senza l'input esplicito dell'utente, visualizzando l'intensità inferita per trasparenza.

3. Configurazione Sperimentale:

   • Esperimenti Computazionali: Validati attraverso cinque LLM open-source (con range da 1.6B a 9B di parametri) per garantire l'affidabilità dello steering (E1) e la sua composibilità con il prompting dell'utente (E2).
   • Studio Utente: Uno studio entro i soggetti ($n=14$) riguardante compiti di pianificazione dello stile di vita in scenari cold-start (shopping di regali, viaggi, ristorazione, ricette). I partecipanti hanno interagito con le tre interfacce di steering e un baseline di solo prompting (PROMPT).

Risultati Chiave

• Viabilità Computazionale: Lo steering delle attivazioni ha dimostrato una forte correlazione, quasi lineare, tra la forza di steering e la preferenza espressa in tutti i modelli testati. Fondamentalmente, il metodo è stato trovato compatibile con il prompting dell'utente; il prompting può intensificare o ridurre l'effetto dello steering, permettendo una variabilità contestuale all'interno di un profilo di preferenza guidato.
• Allineamento delle Preferenze (U1):
  • SELECT e CALIBRATE hanno mostrato correlazioni moderate e significative ($r=0.46$ e $r=0.59$ rispettivamente) tra l'output del chatbot e le preferenze reali degli utenti, superando significativamente il baseline di solo prompting ($r=0.11$).
  • LEARN ha mostrato una correlazione più debole ($r=0.26$), suggerendo che l'algoritmo di aggiornamento basato sul sentiment fosse meno robusto nel catturare diverse intenzioni dell'utente in un breve lasso di tempo.
  • Complessivamente, i chatbot steerabili hanno raggiunto una correlazione moderata ($r=0.44$) con le preferenze latenti, validando l'approccio per gli scenari cold-start.
• Percezioni Soggettive (U2):
  • Non vi è stata alcuna differenza significativa in "Probabilità di Utilizzo", "Soddisfazione" o "Controllo Percepito" tra le interfacce quando confrontate direttamente.
  • Tuttavia, tutte le interfacce steerabili sono state valutate significativamente più alto rispetto al baseline in Persistenza Percepita, indicando che gli utenti sentivano che le loro preferenze venissero ricordate meglio tra le sessioni.
  • Eterogeneità dei Valori: L'analisi qualitativa ha rivelato preferenze distinte tra gli utenti. Alcuni utenti hanno valorizzato il controllo esplicito di SELECT, mentre altri hanno preferito l'esperienza fluida e a basso carico cognitivo di LEARN. CALIBRATE è stato apprezzato per la sua precisione e natura di risparmio di tempo, ma criticato per il potenziale disallineamento se la fase di calibrazione non avesse catturato le sfumature delle preferenze.

Significatività e Rivendicazioni
Il paper sostiene di introdurre un nuovo paradigma per la personalizzazione degli LLM che sposta l'onere dell'articolazione delle preferenze dal prompting in linguaggio naturale alla manipolazione diretta degli interni del modello. Gli autori postulano che lo steering delle attivazioni offra un'alternativa efficiente dal punto di vista delle risorse rispetto al fine-tuning, poiché non richiede il riaddestramento dei pesi del modello e opera con vettori leggeri.

Lo studio inquadra la personalizzazione degli LLM come un problema di design dell'interazione, dimostrando che esporre un fattore di steering lineare può allineare efficacementamente gli output del modello con le latenti preferenze dell'utente in scenari cold-start. Gli autori sottolineano che non esiste un unico'interfaccia "ottimale"; piuttosto, i valori dell'utente riguardo all'agency (controllo vs. automazione) e alla fluidità (statica vs. adattiva) determinano quale design sia più adatto. Concludono che i chatbot steerabili offrono un meccanismo promettente e computazionalmente efficiente per creare assistenti IA personalizzati e direttamente manipolabili, pur riconoscendo i limiti riguardanti la fedeltà dei prototipi a bassa fedeltà e la riduzione di preferenze complesse a singole dimensioni.