EventChat: Implementation and user-centric evaluation of a large language model-driven conversational recommender system for exploring leisure events in an SME context

Questo articolo presenta la progettazione e la valutazione utente-centrica di un sistema di raccomandazione conversazionale basato su modelli linguistici di grandi dimensioni (LLM) per un'azienda PMI, evidenziando un'accuratezza raccomandatoria del 85,5% ma sottolineando come costi, latenza e qualità richiedano ottimizzazioni strategiche per garantire la sostenibilità economica e l'usabilità in contesti reali.

L'essenziale

Immagina di essere il proprietario di una piccola agenzia di viaggi o di un'agenzia di eventi locali (una SME, ovvero una Piccola e Media Impresa). Hai un catalogo enorme di concerti, mostre e feste, ma i tuoi clienti sono spesso confusi: "Cosa c'è di bello stasera?", "Ho un budget basso e voglio qualcosa di divertente".

Fino a poco tempo fa, per aiutarli, dovevi usare un motore di ricerca con filtri noiosi (data, prezzo, categoria). Ma oggi, grazie all'Intelligenza Artificiale (in particolare i LLM, o Modelli Linguistici di grandi dimensioni), puoi offrire un assistente che parla come un umano. Questo assistente si chiama EventChat.

Ecco cosa hanno scoperto i ricercatori dell'ETH Zurigo quando hanno costruito e testato questo assistente per una startup reale.

1. L'Obiettivo: Un "Concierge Digitale" per Piccole Imprese

I ricercatori volevano capire: Può una piccola azienda permettersi un assistente AI così intelligente?
Spesso si pensa che l'AI sia un giocattolo costoso solo per le grandi multinazionali. Loro hanno detto: "Proviamo a costruirne uno con un budget limitato, usando le tecnologie più avanzate ma senza spendere una fortuna".

Hanno creato EventChat, un chatbot che non si limita a rispondere "Sì/No", ma che:

• Cerca eventi basandosi su ciò che dici.
• Fa domande per capire meglio cosa vuoi (es. "Preferisci musica dal vivo o cinema?").
• Ti dà consigli personalizzati.

2. Come l'hanno Costruito: La "Cucina a Stazioni" vs. Il "Chef Magico"

Qui entra in gioco una metafora culinaria molto importante.

• L'approccio "Agente" (Il Chef Magico): Molti sistemi avanzati lasciano all'AI la libertà totale di decidere cosa fare, come un chef che inventa la ricetta mentre cucina. È flessibile, ma può sbagliare, perdere tempo e costare molto (come se lo chef ordinasse ingredienti costosi e poi li buttasse via).
• L'approccio "EventChat" (La Cucina a Stazioni): I ricercatori hanno scelto un approccio più rigido, come una catena di montaggio o una cucina a stazioni fisse. L'AI ha solo 5 compiti precisi:
  1. Chiacchierare.
  2. Dire "Non ho capito" (se la richiesta è strana).
  3. Cercare eventi.
  4. Consigliare eventi.
  5. Rispondere a domande specifiche su un evento.

Perché? Perché per una piccola azienda, la stabilità e il costo sono più importanti della creatività. Meglio un sistema che fa sempre le stesse cose bene e velocemente, piuttosto che uno che a volte fa cose geniali ma a volte impiega 10 secondi a rispondere o costa troppo.

3. I Risultati: Il Bilancio tra "Wow" e "Aspetta..."

Hanno fatto provare l'app a 83 persone reali. Ecco cosa è successo:

• Il Lato Positivo (Il Gusto):

  • L'85% delle persone ha trovato i consigli accurati.
  • L'assistente è stato percepito come utile e ha reso l'esperienza piacevole.
  • Ha aiutato a risolvere un problema reale: i dati degli eventi erano spesso incompleti (perché presi automaticamente da internet), ma l'AI è riuscita a "capire" il contesto e a dare risposte comunque sensate.

• Il Lato Negativo (Il Tempo di Attesa e il Conto):

  • La Latenza (Il Tempo): L'assistente impiegava in media 5,7 secondi per rispondere. Immagina di ordinare un caffè e dover aspettare quasi 6 secondi prima che il barista ti risponda. Non è un tempo enorme, ma in una conversazione fluida si nota.
  • Il Costo: Ogni interazione costava circa 4 centesimi di dollaro. Sembra poco, ma se hai 10.000 clienti, la bolletta sale velocemente.
  • Il Collo di Bottiglia: La parte più costosa e lenta era il momento in cui l'AI "pescava" gli eventi e sceglieva i migliori (la fase di "re-ranking"). È come se lo chef dovesse assaggiare 100 piatti prima di servirti il migliore: ci vuole tempo e costa caro.

4. Le Sorprese e gli Errori (Le "Allucinazioni")

L'AI non è perfetta. A volte:

• Allucina: Suggerisce eventi che non esistono davvero (come se il barista ti offrisse un cocktail che non ha gli ingredienti).
• Ignora i dettagli: Se dici "Voglio qualcosa di economico", a volte l'AI ti suggerisce cose costose perché ha perso il filo del discorso.
• Confusione linguistica: Se l'utente parla in tedesco ma l'AI è impostata in inglese, a volte si confonde e risponde nella lingua sbagliata.

5. Cosa Impariamo da Tutto Questo? (Le Lezioni per le Piccole Imprese)

Il paper ci insegna tre cose fondamentali per chi vuole usare l'AI oggi:

1. Non serve essere i più intelligenti, serve essere i più efficienti: Non serve un'AI che fa tutto. Serve un'AI che fa poche cose, ma le fa in modo stabile e a basso costo.
2. Il "Prompt" non è magia: Basta scrivere un bel testo di istruzioni (prompt) all'AI. Se il contesto è troppo complesso, l'AI si perde. Per le piccole imprese, a volte è meglio avere un sistema più semplice che non richiede milioni di dati per essere addestrato.
3. Il compromesso è inevitabile: Vuoi un'AI super veloce? Costerà di più o sarà meno intelligente. Vuoi un'AI super intelligente? Dovrai aspettare di più o pagare di più. Le piccole imprese devono trovare il loro punto di equilibrio.

In Sintesi

EventChat è come un assistente di viaggio digitale che una piccola agenzia può permettersi di assumere. Funziona bene, rende i clienti felici e aiuta a vendere, ma non è perfetto: a volte è un po' lento e costa qualche centesimo in più per ogni conversazione.

La lezione principale è che l'AI non è una bacchetta magica che risolve tutto gratis. È uno strumento potente che, se usato con intelligenza (e con un budget controllato), può davvero aiutare le piccole imprese a competere con i grandi giganti, purché si accettino i suoi piccoli difetti (come il tempo di attesa) in cambio della sua utilità.

Sommario tecnico

1. Il Problema

L'integrazione dei Large Language Models (LLM) nei Sistemi di Raccomandazione Conversazionali (CRS) rappresenta un'evoluzione strategica significativa. Tuttavia, la ricerca attuale si concentra prevalentemente su framework tecnici in ambienti controllati, trascurando le valutazioni basate sull'utente finale e le implicazioni strategiche per le Piccole e Medie Imprese (SME).
Le SME affrontano vincoli specifici:

• Risorse limitate: Costi di sviluppo, mancanza di personale specializzato in ML e margini di profitto ridotti.
• Ambienti reali: Necessità di gestire dati eterogenei (spesso derivanti da web scraping con qualità variabile) e latenze accettabili.
• Mancanza di framework pratici: Esiste un vuoto nella comprensione di come implementare CRS guidati da LLM in contesti aziendali reali, bilanciando costi, latenza e qualità senza ricorrere a costosi processi di fine-tuning.

2. Metodologia e Design del Sistema (EventChat)

Gli autori hanno progettato e implementato EventChat, un CRS guidato da LLM per una startup nel settore del tempo libero in una città tedesca. Il sistema è stato sviluppato con un approccio "resource-conscious" (consapevole delle risorse).

Architettura e Scelte Progettuali:

• Modello LLM: Utilizzo di ChatGPT (via Azure OpenAI Service) come motore principale. La scelta è stata dettata dalla disponibilità di crediti per startup e dalle capacità di In-Context Learning (ICL).
• Approccio di Apprendimento: Prompt-based learning (senza fine-tuning). Questo evita la necessità di grandi dataset di addestramento, riducendo costi e complessità ingegneristica, fondamentale per le SME.
• Architettura Ibrida:
  • Front-end: App mobile (iOS/Android) con interfaccia chat ibrida (testo + pulsanti). Include un "rilevatore di visibilità" che invia al backend le ultime 3 card visualizzate dall'utente per contestualizzare la conversazione.
  • Back-end: Approccio basato su fasi (stage-based) invece che agent-based. Il flusso è diviso in 5 azioni fisse: Chat, Rifiuto, Ricerca, Raccomandazione, Indagine Mirata. Questo garantisce stabilità e controlla i costi, evitando le chiamate eccessive tipiche degli agenti autonomi.
• Tecnica RAG (Retrieval-Augmented Generation):
  • Recupero: Utilizzo di infrastrutture esistenti (Amazon Personalize, Vector Store) per generare un set candidato.
  • Reranking: ChatGPT viene utilizzato come ranker per filtrare e ordinare fino a 10 elementi in un singolo prompt, utilizzando "digest" testuali degli eventi invece di query SQL dinamiche (che si sono rivelate instabili con dati sparsi).
  • Indagine Mirata: Risposta a domande specifiche sugli eventi basata su descrizioni testuali strutturate, non su generazione di codice SQL.

Studio sul Campo:
È stata condotta una valutazione sul campo con 83 utenti reali che hanno interagito con l'app. La valutazione ha combinato:

1. Metriche Oggettive: Latenza, consumo di token (costo), log delle interazioni.
2. Metriche Soggettive: Adattamento del modello ResQue (Recommender System Quality) in una versione "short-form" per valutare la qualità percepita, la coerenza, l'elaborazione degli input e l'intenzione d'uso futura.

3. Risultati Chiave

Performance del Sistema:

• Accuratezza Percepita: L'85,5% degli utenti ha valutato l'accuratezza delle raccomandazioni come neutra o buona.
• Costi e Latenza:
  • Latenza mediana per messaggio: 5,7 secondi.
  • Costo mediano per interazione: $0,04 (basato sui token).
  • Collo di bottiglia: La fase di reduction (reranking) ha consumato il 41% dei token totali e il 4,0 secondi di latenza, risultando la componente più costosa.
• Fallimenti: Il 15% delle valutazioni di qualità è stato negativo. Le cause principali dei fallimenti (non soddisfacimento della richiesta) sono state: eventi non presenti nel database (problemi di scraping), incomprensione del contesto temporale (gli utenti scrivevano l'orario nella chat invece di usare il pulsante UI) e allucinazioni occasionali.

Analisi del Modello ResQue:

• L'analisi path ha confermato che l'Accuratezza delle Raccomandazioni e la Coerenza influenzano positivamente la Percezione di Utilità.
• La Percezione di Utilità è fortemente correlata alla Soddisfazione e all'Intenzione di Futuro Uso.
• Sono stati validati nuovi costrutti specifici per i CRS basati su LLM: Coerenza, Consistenza e Prestazioni di Elaborazione dell'Input.

4. Contributi Principali

1. Implementazione Reale (EventChat): Dimostrazione di un CRS end-to-end guidato da LLM, ottimizzato per i vincoli delle SME (costi, latenza, assenza di dati di training), che funziona con clienti reali.
2. Valutazione Ibrida: Presentazione di una valutazione completa che unisce metriche tecniche (token, latenza) e metriche soggettive (ResQue), offrendo una visione olistica delle prestazioni.
3. Estensione del Modello ResQue: Validazione empirica di un modello ResQue rivisto e semplificato, specifico per i sistemi Gen-RecSys, che include dimensioni conversazionali critiche.
4. Insight Manageriali: Identificazione di compromessi (trade-off) critici per le SME, come la scelta tra architetture agent-based (flessibili ma costose) e stage-based (stabili ed economiche).

5. Significato e Implicazioni

Implicazioni Tecniche:

• Architettura Stage-based: Per le SME, un'orchestrazione a fasi fisse è preferibile agli agenti autonomi per garantire prevedibilità dei costi e bassa latenza.
• Limiti del Prompt-only: L'approccio basato esclusivamente sui prompt mostra limiti nella gestione di contesti complessi e dati sparsi. Il reranking basato su LLM grandi è economicamente proibitivo a scala industriale; sono necessarie soluzioni ibride o modelli più piccoli.
• Sicurezza e Allucinazioni: È fondamentale implementare "guardrail" (es. output vincolati a ID validi) per mitigare rischi di sicurezza e allucinazioni, specialmente in ambienti di produzione.

Implicazioni Strategiche per le SME:

• L'adozione di CRS basati su LLM è fattibile ma richiede una pianificazione attenta dei costi operativi (OPEX). Il costo per interazione deve essere giustificato da margini elevati o alto volume.
• L'interfaccia utente deve allinearsi al comportamento naturale degli utenti (es. preferenza per la chat rispetto ai pulsanti statici), anche se ciò aumenta la complessità del parsing del linguaggio naturale.

Contributo Teorico:
Il paper colma il divario tra la ricerca accademica sui framework LLM e la realtà operativa delle aziende, fornendo un modello di valutazione validato che può essere replicato per futuri studi su sistemi di raccomandazione generativi.

In sintesi, il paper dimostra che i CRS guidati da LLM sono tecnicamente realizzabili per le SME, ma il successo a lungo termine dipende dalla gestione rigorosa dei compromessi tra qualità della raccomandazione, costi operativi e tempo di risposta, piuttosto che dalla sola sofisticazione algoritmica.