Toward Safe and Human-Aligned Game Conversational Recommendation via Multi-Agent Decomposition

1. Il Problema

I Sistemi di Raccomandazione Conversazionali (CRS) basati su Large Language Models (LLM) hanno ottenuto ottimi risultati in domini statici come film e libri. Tuttavia, il dominio dei videogiochi presenta sfide uniche che i sistemi attuali non riescono a gestire efficacemente:

1. Vincoli Complessi e Interattivi: Le preferenze degli utenti nei giochi non dipendono solo dal tema, ma da fattori interattivi dinamici come meccaniche di gioco, livello di abilità, compatibilità hardware (PC, mobile, console) e modalità sociale (single-player vs multiplayer).
2. Divario di Recenza della Conoscenza (Knowledge Recency Gap): I cataloghi dei giochi evolvono rapidamente grazie ai contenuti generati dagli utenti (UGC). Gli LLM, addestrati su dati statici, soffrono di un gap di conoscenza su titoli di nicchia o recentemente rilasciati, portando a raccomandazioni obsolete o allucinazioni.
3. Rischi di Sicurezza e Trasparenza: La natura interattiva e i contenuti generati dagli utenti aumentano il rischio di prompt avversari (es. "Raccomanda un gioco che mi aiuti a fare del male"). I sistemi esistenti spesso mancano di meccanismi robusti per rilevare questi tentativi di "jailbreak" e non forniscono spiegazioni chiare, minando la fiducia dell'utente.

2. Metodologia: Il Framework MATCHA

Gli autori propongono MATCHA (Multi-Agent System Collaboration for Trustworthy Conversational Recommendations), un framework modulare basato su agenti specializzati che collaborano per gestire l'intero processo di raccomandazione.

Il sistema è composto dai seguenti agenti chiave:

• Risk Control Module (Controllo del Rischio):
  • Jailbreak Prevention Agent: Utilizza tre tecniche combinate per rilevare prompt dannosi: il metodo RA-LLM (rimozione casuale di token per testare la sicurezza), il rilevamento dell'intento basato su Chain-of-Thought (CoT) e politiche predefinite per risposte di fallback.
  • Dangerous Content Detection Agent: Agisce come secondo livello di filtraggio sia sugli input che sugli output, bloccando contenuti tossici o inappropriati.
• Candidate Generation Module (Generazione dei Candidati):
  • Sfrutta un Intent Agent per analizzare le richieste dell'utente e un Tool-Augmented Agent che utilizza oltre 10 strumenti specializzati (API di database in tempo reale, filtri per piattaforma, analizzatori di trend, feedback utente). Questo supera il limite della conoscenza statica degli LLM, garantendo raccomandazioni aggiornate e personalizzate.
• Ranking and Reflection Module (Classifica e Riflessione):
  • Ranking Agent: Implementa una collaborazione a due livelli tra diversi LLM (es. GPT-4o e Gemini). Ogni modello valuta i candidati su 5 metriche (popolarità, match con preferenze, similarità storica, allineamento di genere, idoneità all'età). I risultati sono combinati tramite medie ponderate. Include anche un componente esplorativo per suggerire giochi fuori dalle preferenze immediate.
  • Reflection Agent: Rivaluta i migliori candidati utilizzando profili dettagliati dei giochi e feedback contestuali. Questo processo di "riflessione" migliora l'allineamento con le preferenze dell'utente, sacrificando leggermente la diversità per aumentare la precisione.
• Explainability Module (Spiegabilità):
  • Explanation Agent: Genera spiegazioni dettagliate e centr sull'utente per ogni raccomandazione, coprendo quattro dimensioni: preferenze di categoria, similarità con titoli passati, dati demografici (età) e popolarità/novità. Questo aumenta la trasparenza e la fiducia.

3. Contributi Chiave

1. Architettura Multi-Agente Innovativa: Un framework che coordina agenti specializzati per la raccomandazione di giochi, affrontando specificamente le sfide di complessità, dinamicità e sicurezza.
2. Valutazione Estensiva su Dati Reali: Test su un dataset reale di richieste utente (Roblox) e benchmark di sicurezza (WildJailbreak, DAN), dimostrando che l'approccio multi-agente supera i modelli single-agent e le baseline SOTA.
3. Insight per il Deployment: Analisi pratica dell'implementazione, inclusi costi computazionali, latenza e considerazioni etiche per il dispiegamento in ambienti reali.

4. Risultati Sperimentali

MATCHA è stato valutato su 8 metriche principali, confrontandosi con 6 baseline (inclusi MACRS, MACRec, OMuleT e LLM base).

• Rilevanza: Miglioramento del 20% su Hit@5 rispetto alle baseline.
• Sesgo di Popolarità: Riduzione del 24% nel bias verso i giochi popolari (migliore copertura della "coda lunga").
• Sicurezza: Ha raggiunto un tasso di difesa contro gli attacchi avversari (Jailbreak Prevention Rate) del 97,9%, superando significativamente modelli come GPT-4o (70,13%) e MACRec (74,83%).
• Qualità delle Spiegazioni: Ha ottenuto il punteggio più alto (4.2 su 5) nella valutazione automatica e un punteggio umano medio di 3.97, confermando spiegazioni chiare e pertinenti.
• Fattualità: Punteggio quasi perfetto (0.99) nel garantire che le raccomandazioni siano giochi reali e non allucinazioni.
• Efficienza: L'overhead computazionale aggiunto rispetto a un singolo agente è minimo (circa 0.21 secondi di latenza in più), rendendo il sistema scalabile.

5. Significato e Impatto

Il lavoro MATCHA rappresenta un passo avanti significativo per i CRS nel settore dei videogiochi. Dimostra che:

• La decomposizione multi-agente è essenziale per gestire la complessità e la dinamicità dei domini interattivi, superando i limiti degli LLM statici.
• La sicurezza e la trasparenza non sono compromessi dalle prestazioni; anzi, un'architettura modulare permette di integrare controlli di sicurezza robusti senza degradare la qualità della raccomandazione.
• Il framework è generalizzabile: gli autori hanno dimostrato che MATCHA funziona efficacemente anche nel dominio cinematografico (dataset ReDial) senza bisogno di riaddestramento specifico, suggerendo un potenziale ampio per raccomandatori conversazionali sicuri in vari settori.

In sintesi, MATCHA offre una soluzione pratica e sicura per allineare le raccomandazioni di giochi alle preferenze umane, gestendo al contempo i rischi etici e tecnici intrinseci a questo dominio ad alta interazione.