🤖 AI

Beyond expert users: agents should help users construct preferences, not just elicit them

Questo articolo sostiene che gli agenti IA dovrebbero aiutare attivamente gli utenti a costruire le proprie preferenze fornendo la necessaria conoscenza di dominio, piuttosto che limitarsi a elicitarle, una sfida evidenziata dal framework CoPref e dal benchmark CoShop proposti, i quali rivelano come i modelli all'avanguardia attuali fatichino ad ampliare la comprensione dell'utente nonostante molteplici turni di interazione.

Autori originali: Irena Saracay, Ludwig Schmidt, Carlos Guestrin

Pubblicato 2026-07-01

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Irena Saracay, Ludwig Schmidt, Carlos Guestrin

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di entrare in un negozio di scarpe di lusso per comprare degli scarponi da trekking. Dici al commesso: "Ho bisogno di scarponi che siano comodi, non troppo costosi e che abbiano un bell'aspetto".

Nel mondo degli assistenti per lo shopping basati sull'IA attuale, il sistema assume che tu sia un esperto. Pensa: "Grande! Sa esattamente cosa vuole. Devo solo fare altre poche domande per ottenere i dettagli: 'Che taglia? Che colore? Qual è il tuo budget?'".

L'articolo sostiene che questa supposizione sia errata. La maggior parte di noi non è un esperto. Non sappiamo che la "profondità dei tasselli" (il battistrada sul fondo) sia importante per i sentieri rocciosi, o che "impermeabile" sia diverso da "resistente all'acqua". Se l'IA ti chiede semplicemente: "Vuoi scarponi impermeabili?" e tu rispondi "Non lo so", l'IA arriva a un vicolo cieco. Non riesce a trovare lo scarpone giusto perché non ti ha ancora insegnato perché quella caratteristica sia importante.

L'idea centrale: Costruire le preferenze, non solo trovarle

Gli autori propongono che l'IA non debba essere solo un esattore di domande; deve essere un insegnante.

Introducono un modello chiamato COPREF (Preferenze Co-costruite). Pensa alle tue preferenze non come a un tesoro nascosto che l'IA sta cercando di aprire con una chiave (una domanda), ma come a una casa che viene costruita mattone dopo mattone durante la conversazione.

Caratteristiche di ricerca: Questi sono mattoni facili. Sai di volere il "rosso" o la "taglia 10". L'IA si limita a chiedere e tu rispondi.
Caratteristiche esperienziali: Questi sono mattoni che non puoi vedere finché non li tieni in mano. Non sai se ti piace la "scamosciata" finché l'IA non ti mostra la foto di uno scarpone in pelle scamosciata e ti dice: "Vedi questa consistenza?". Solo allora ti rendi conto: "Oh, odio questo".
Caratteristiche di credito: Queste sono le planimetrie. Non sai nemmeno che il muro esista finché l'IA non ti spiega: "A proposito, alcuni scarponi hanno una fodera speciale che previene le vesciche". Una volta appreso questo, puoi decidere se ne vuoi una con questa caratteristica.

L'esperimento: COSHOP

Per testare questo approccio, i ricercatori hanno costruito un parco giochi chiamato COSHOP. È come un videogioco in cui un agente IA cerca di aiutare un utente simulato ad acquistare prodotti (vestiti, film o libri).

Gli "utenti" in questo gioco sono programmati per essere persone reali: iniziano con pochissime idee. Non sanno cosa vogliono finché l'IA non li aiuta a imparare. L'obiettivo non è solo far trovare l'articolo giusto all'IA; è che l'IA aiuti l'utente a comprendere cosa vuole, in modo che possa scegliere l'articolo giusto autonomamente.

Cosa hanno scoperto: L'IA è troppo timida per insegnare

I ricercatori hanno testato cinque dei modelli di IA più intelligenti disponibili (come le versioni più recenti di GPT e Claude). Ecco cosa è successo:

La trappola dell'esperto: Quando l'IA riceveva un utente che sapeva già tutto (un esperto), l'IA era eccezionale. Trovava l'articolo giusto il 94% delle volte.
Il crollo dell'utente reale: Quando l'IA cercava di aiutare un utente "reale" (che aveva bisogno di imparare), le prestazioni crollavano. Nessun modello superava il 56% di accuratezza.
Il motivo del fallimento: L'IA non era scarsa nel cercare nel negozio. Era scarsa nel insegnare.
- Troppe domande, pochi esempi: L'IA continuava a chiedere "Ti piace questo?" o "È troppo costoso?" senza mai mostrare all'utente cosa significasse realmente "troppo costoso" o "questo stile".
- Conclusioni premature: L'IA spesso si stancava di fare domande e diceva: "Ok, penso di avere abbastanza informazioni", e passava alla ricerca. Ma l'utente non sapeva ancora abbastanza per scegliere l'articolo giusto dall'elenco.
- Allucinazioni: A volte l'IA inventava caratteristiche inesistenti, confondendo ulteriormente l'utente.

L'analogia del "brutto rapporto"

Immagina che l'IA sia un ricercatore che trova lo scarpone da trekking perfetto. Scrive un rapporto per te.

Il problema: Il rapporto dice: "Ecco uno scarpone fantastico". Ma dimentica di menzionare che lo scarpone è fatto di pelle pesante (che tu odi) o che ha un collo alto (di cui invece hai bisogno).
Il risultato: Anche se l'IA ha trovato lo scarpone perfetto, tu non puoi sceglierlo perché il rapporto non ti ha fornito le informazioni necessarie per prendere una decisione. Scegli uno scarpone diverso e peggiore perché non sapevi che il primo era in realtà quello giusto.

La conclusione

L'articolo conclude che, affinché l'IA sia davvero utile, deve smettere di agire come un sistema di recupero (che si limita a recuperare risposte) e iniziare ad agire come un collaboratore. Deve capire che a volte l'utente non sa cosa vuole, e il compito dell'IA è mostrare esempi e spiegare dettagli tecnici in modo che l'utente possa costruire la propria preferenza.

Attualmente, anche le IA più intelligenti stanno fallendo in questo. Sono bravissime a trovare le cose, ma sono terribili nell'aiutarci a capire di cosa abbiamo realmente bisogno.

Riepilogo Tecnico: Oltre gli Utenti Esperti – Gli Agenti Dovrebbero Aiutare gli Utenti a Costruire le Preferenze, Non Solo a Elicitarle

1. Definizione del Problema

Gli attuali sistemi di raccomandazione agentici (ad esempio, ChatGPT Shopping Research, Amazon Rufus) e i benchmark utilizzati per valutarli operano sotto un'ipotesi critica e irrealistica: che gli utenti siano esperti con preferenze ben formate e statiche che possono essere pienamente specificate tramite domande di chiarimento. Nella realtà, gli utenti non esperti spesso mancano della conoscenza del dominio necessaria per definire le preferenze per tutte le caratteristiche rilevanti. Potrebbero non essere in grado di rispondere a domande su attributi specifici (ad esempio, la "profondità del carico" per scarponi da trekking o "viscosa vs lyocell" per i tessuti) perché non comprendono ancora cosa significhino tali caratteristiche o come influenzino l'esperienza dell'utente.

Il documento sostiene che quando gli agenti si affidano esclusivamente a domande di chiarimento, falliscono nell'aiutare gli utenti a costruire le preferenze necessarie per valutare le raccomandazioni. Di conseguenza, anche se un agente riesce a trovare l'articolo ideale, l'utente potrebbe non essere in grado di identificarlo come la scelta migliore a causa di uno stato di preferenza sottosviluppato. Ciò porta a un fallimento nelle prestazioni del "team" composto dal sistema uomo-agente, non solo nella capacità di recupero dell'agente.

2. Metodologia

2.1 Il Modello COPREF

Gli autori introducono COPREF (Co-constructed Preferences - Preferenze Co-costruite), un modello formale di interazione utente-agente in cui le preferenze non vengono recuperate, ma costruite attraverso il dialogo.

Stato di Preferenza ( $S_t$ ): Un sottoinsieme di caratteristiche $F$ su cui l'utente ha formato una preferenza al turno $t$ . Questo stato evolve da uno stato iniziale incompleto ( $S_1$ ) basato sulle azioni dell'agente.
Framework SEC: Trattenendo l'economia dell'informazione (Search-Experience-Credence), il modello suddivide le caratteristiche in tre tipi, ognuno dei quali richiede un'azione di dialogo diversa per essere sbloccato:
1. Caratteristiche di Ricerca (Search Features, $F_s$ ): L'utente conosce la propria preferenza (es. prezzo, taglia). Vengono sbloccate tramite domande di chiarimento.
2. Caratteristiche di Esperienza (Experience Features, $F_e$ ): L'utente ha bisogno di vedere esempi concreti per decidere (es. "questo motivo è troppo carico?"). Vengono sbloccate tramite opzioni di esempio.
3. Caratteristiche di Credenza (Credence Features, $F_c$ ): L'utente ha bisogno di conoscenza del dominio per comprendere la caratteristica (es. "cos'è un pannello a yoke?"). Vengono sbloccate tramite spiegazioni tecniche.
Meccanismo: Una caratteristica viene aggiunta allo stato di preferenza dell'utente solo se l'agente esegue l'azione di dialogo specifica corrispondente al tipo SEC della caratteristica.

2.2 Il Benchmark COSHOP

Per valutare gli agenti secondo questo modello, gli autori introducono COSHOP, un benchmark interattivo per sistemi di raccomandazione agentici attraverso tre domini:

Dataset: H&M (moda), MovieLens (film) e Goodreads (libri).
Simulazione dell'Utente: A differenza dei tipici simulatori che pongono una persona una sola volta, COSHOP utilizza un simulatore (basato su gpt-oss-120b) esplicitamente ancorato allo stato di preferenza corrente $S_t$ . La suddivisione SEC del simulatore (quali caratteristiche sono ricerca/esperienza/credenza) è personalizzata in base ai dati storici di acquisto/valutazione dell'utente.
Protocollo di Interazione:
1. Conversazione: L'agente e l'utente conversano per un massimo di 5 turni (budget: 20 domande, 10 articoli unici mostrati).
2. Ricerca: L'agente cerca nel catalogo (budget: 250 recuperi).
3. Report: L'agente genera $k=5$ raccomandazioni.
4. Selezione: L'utente seleziona un articolo basandosi sul proprio stato di preferenza finale $S_{T+1}$ .
Metriche:
- Completezza dello Stato: Frazione dell'intero set di preferenze dell'utente recuperata.
- Recall dell'Agente: Se l'articolo target $x^*$ appare tra le prime $k$ raccomandazioni.
- Accuratezza del Team: Se l'utente seleziona con successo $x^*$ dal report. Questa è la metrica primaria, limitata sia dal recall che dalla ricchezza dello stato di preferenza dell'utente.

2.3 Validazione tramite Studio Umano

Uno studio con $n=25$ partecipanti ha validato le tesi centrali di COPREF:

Gli utenti non esperti possiedono un mix di caratteristiche di ricerca, esperienza e credenza (nessun utente possedeva solo caratteristiche di ricerca).
Le azioni di dialogo appropriate (esempi per l'esperienza, spiegazioni per la credenza) sbloccano con successo le preferenze precedentemente non formulate.
Le classificazioni SEC variano in base all'individuo; una caratteristica non è universalmente di credenza o di esperienza, ma dipende dalla specifica conoscenza del dominio dell'utente.

3. Contributi Chiave

Modello COPREF: Una formalizzazione della costruzione delle preferenze che sfida l'assunto dell' "utente esperto", distinguendo tra caratteristiche che richiedono domande, esempi o spiegazioni per essere definite.
Benchmark COSHOP: Un benchmark interattivo open-source che valuta gli agenti sulla loro capacità di co-costruire le preferenze con utenti non esperti, misurando l'"accuratezza del team" piuttosto che il semplice recupero.
Analisi Empirica: Una valutazione completa di cinque modelli linguistici di frontiera (famiglie GPT e Claude) che dimostra come gli attuali agenti falliscano nell'espandere efficacemente la conoscenza dell'utente.

4. Risultati

Le valutazioni di cinque modelli di frontiera (inclusi gpt-5.2, claude-sonnet-4.6 e gpt-oss-120b) su COSHOP hanno prodotto i seguenti risultati:

Calo delle Prestazioni: Mentre i modelli ottengono punteggi elevati (es. 94,3% per claude-sonnet-4.6) quando ricevono preferenze completamente specificate in anticipo, la loro Accuratezza del Team su COSHOP scende significativamente (massimo 56% tra tutti i modelli e i domini).
Modalità di Fallimento:
1. Stati di Preferenza Sottosviluppati: Gli agenti non riescono a eseguire le azioni di dialogo necessarie (esempi, spiegazioni) per sbloccare le caratteristiche di esperienza e di credenza. Di conseguenza, l'utente non riesce a distinguere l'articolo target dai distrattori anche quando è presente nel report.
2. Scarsa Qualità del Report: Gli agenti spesso omettono o rappresentano erroneamente le caratteristiche degli articoli nei loro report finali, impedendo agli utenti di valutare correttamente le opzioni.
Strategie di Interazione:
- I modelli tendono a fare un forte affidamento sulle domande di chiarimento (spesso ridondanti o basate sulla conferma) piuttosto che fornire esempi o spiegazioni.
- Nessun modello ha fornito proattivamente spiegazioni tecniche per le caratteristiche di credenza.
- I modelli più grandi (es. gpt-5.2) hanno mostrato un "bias di esecuzione", terminando prematuramente la conversazione per passare alla fase di ricerca, lasciando il compito sotto-specificato.
- I modelli più piccoli hanno esaurito il budget di conversazione ma non sono riusciti a introdurre nuove caratteristiche, spesso ciclando sugli attributi già noti.
Interventi: Fornire agli agenti la cronologia dell'utente non ha migliorato significativamente le prestazioni. Tuttavia, sovrascrivere le descrizioni degli articoli dell'agente con i dati completi del catalogo (simulando una qualità del report perfetta) ha migliorato sostanzialmente l'accuratezza del team, confermando che la qualità del report e lo sviluppo dello stato di preferenza sono i colli di bottiglia primari.

5. Significato e Assertions

Il documento afferma che il limite principale degli attuali sistemi di raccomandazione agentici non è la loro capacità di cercare o recuperare articoli, ma la loro incapacità di insegnare agli utenti ciò che devono sapere per prendere una decisione.

Cambio di Paradigma: Gli autori sostengono che il campo debba passare dal vedere gli agenti come "elicitatori di preferenze" (recupero di preferenze statiche) a "costruttori di preferenze" (costruzione attiva della conoscenza dell'utente).
Accuratezza del Team: Il successo dovrebbe essere misurato con la capacità congiunta del team uomo-agente. Un agente che trova l'articolo perfetto ma non riesce ad aiutare l'utente a capire perché è perfetto ha fallito il suo compito.
Direzioni Future: Il documento suggerisce che il lavoro futuro dovrebbe concentrarsi sull'addestramento degli agenti a riconoscere quando un utente manca di conoscenza del dominio e a implementare proattivamente esempi e spiegazioni, invece di fare affidamento esclusivamente su domande di chiarimento. Chiede inoltre di estendere il modello COPREF oltre l'ambito delle raccomandazioni ad altri domini orientati ai compiti.

Gli autori rimangono modesti, osservando che il loro modello semplifica la costruzione delle preferenze (assumendo un "sblocco" a passaggio singolo e una crescita monotona dello stato) e che anche in queste condizioni favorevoli, i modelli di frontiera attuali faticano ad adattarsi.