Sintesi Tecnica: SpheriCity – Progettare un'IA Conversazionale Affidabile per il Supporto alle Decisioni sulla Sostenibilità

1. Definizione del Problema

Gli esperti di sostenibilità affrontano carichi cognitivi e interattivi significativi nel navigare ampi ed eterogenei corpora di rapporti di valutazione della circolarità a livello cittadino. Questi documenti, che spesso superano le 80-100 pagine, contengono informazioni frammentate riguardanti flussi di materiali, infrastrutture e interventi politici. I metodi tradizionali di sintesi cross-documentale richiedono ricerca, lettura e cross-referencing manuali, processi che sono dispendiosi in termini di tempo e soggetti al rischio di perdere connessioni critiche.

Sebbene i Large Language Models (LLM) e i sistemi di Retrieval-Augmented Generation (RAG) offrano il potenziale per una rapida sintesi della conoscenza, essi introducono rischi critici in contesti di sostenibilità ad alto impatto. Nello specifico, l'opacità del ragionamento, le allucinazioni di fatti e la mancanza di trasparenza delle fonti minano la fiducia e l'interpretabilità dell'utente. Le attuali valutazioni dell'IA conversazionale si basano spesso su metriche generiche (fluidità, correttezza grammaticale) che non riescono a catturare le esigenze specifiche degli esperti, i quali richiedono prove verificabili, imparziali e tracciabili per giustificare le decisioni politiche. Esiste un vuoto nella comprensione di come progettare agenti conversazionali che supportino il "sensemaking della conoscenza affidabile" piuttosto che limitarsi a generare risposte fluide.

2. Metodologia

2.1 Design del Sistema: SpheriCity

Gli autori hanno sviluppato SpheriCity, un prototipo conversazionale orientato alla provenienza, progettato per supportare il sensemaking della conoscenza su un corpus di 36 rapporti di valutazione della circolarità (circa 2.800 pagine). L'architettura del sistema impiega un framework RAG con tre distinte configurazioni di recupero per testare come l'ancoraggio alle evidenze influenzi la fiducia:

1. Recupero basato su Vettori (Vector-based Retrieval): Utilizza la ricerca di similarità basata su embedding (all-MiniLM-L6-v2) con partizionamento dei caratteri ricorsivo e re-ranking tramite cross-encoder per recuperare passaggi semanticamente simili.
2. Recupero basato su Grafi (Graph-based Retrieval): Utilizza il sistema LightRAG per costruire un grafo della conoscenza di entità (città, politiche, materiali) e relazioni, consentendo la traversata multi-hop di concetti connessi.
3. Recupero Ibrido (Hybrid Retrieval): Genera risposte indipendenti da entrambi i pipeline vettoriale e basato su grafi, per poi utilizzare un prompt di sintesi per integrare i punti di forza, annotare le discrepanze e dare priorità alle affermazioni specifiche basate sulle evidenze.

Principi Chiave di Design:

• La Provenienza come Nucleo: L'interfaccia separa esplicitamente l'attribuzione della fonte dalla generazione. I numeri di pagina sono derivati dai metadati preservati dei documenti anziché essere generati dall'LLM, riducendo il rischio di citazioni allucinate.
• Sintesi Strutturata: Le risposte sono formattate come punti elenco strutturati (interventi, risultati, sfide) piuttosto che testo narrativo, per facilitare la scansione e la verifica.
• Scaffold Interattivi: L'interfaccia include template di prompt per compiti comuni (confronto tra città, sintesi delle politiche) per guidare la formulazione delle query.

2.2 Framework di Valutazione

Lo studio ha utilizzato un approccio di design partecipativo. Sei esperti di sostenibilità hanno co-definito un framework di valutazione composto da cinque dimensioni, misurate tramite una scala Likert a 15 item:

1. Rilevanza Topica: Direttezza rispetto alla domanda.
2. Adeguatezza Contestuale: Appropriatezza rispetto allo scope geografico/istituzionale.
3. Accuratezza Percepita: Correttezza fattuale basata sulla conoscenza esperta.
4. Neutralità: Assenza di bias o prospettive ingiustificate.
5. Profondità dell'Informazione: Livello di dettaglio appropriato senza speculazioni.

2.3 Protocollo di Studio

È stata condotta una revisione formativa degli esperti con sei professionisti. Lo studio ha impiegato un protocollo di revisione statica in cui gli esperti hanno valutato risposte pre-generate dalle tre configurazioni di recupero per 13 query rappresentative (che coprono compiti specifici per città, confronti e raccomandazioni). Questo design ha permesso confronti controllati, all'interno dello stesso valutatore, tra le strategie di recupero, minimizzando il carico cognitivo dell'interazione live. La raccolta dati ha incluso valutazioni quantitative e riflessioni scritte qualitative.

3. Risultati Chiave

3.1 Risultati Qualitativi

L'analisi tematica del feedback degli esperti ha rivelato quattro insight critici:

• La Fiducia Richiede Provenienza: L'attribuzione visibile della fonte (titoli dei report, numeri di pagina) è un prerequisito per la fiducia. Le risposte prive di evidenze tracciabili sono state trattate con scetticismo, indipendentemente dalla fluidità. Gli esperti hanno considerato l'assenza di citazioni come un fattore di esclusione della credibilità.
• Sensemaking sopra le Risposte Definitive: Gli esperti hanno apprezzato la sintesi strutturata che supporta il ragionamento e l'esplorazione piuttosto che risposte singole e definitive. Preferivano strumenti che aiutassero a navigare i trade-off piuttosto che fornire raccomandazioni automatizzate.
• I Crolli di Interpretabilità Generano Sfiducia: Piccoli errori contestuali (ad esempio, identificare erroneamente uno stato come una città) hanno eroso sproporzionatamente la fiducia. In domini ad alto impatto, tali errori segnalavano un rischio di sovra-generalizzazione, portando gli esperti a rifiutare l'intera risposta.
• Disallineamento del Workflow: Gli esperti hanno visto il chatbot come un punto di partenza per l'esplorazione, non come un output finale. Hanno espresso la necessità di funzionalità che supportino l'annotazione, la presa di appunti e la registrazione delle giustificazioni per integrare gli output dell'IA nei loro reali workflow decisionali.

3.2 Risultati Quantitativi

L'analisi dei modelli lineari a effetti misti su 3.510 valutazioni ha indicato che:

• Performance di Recupero: Gli approcci di recupero basato su vettori e quello ibrido hanno generalmente ricevuto valutazioni più alte rispetto al recupero basato su grafi in tutte le dimensioni, in particolare in Accuratezza Percepita e Profondità dell'Informazione.
• Sensibilità al Task: Il divario di performance è stato più pronunciato nelle query specifiche per città, suggerendo che il recupero vettoriale cattura meglio le informazioni contestuali localizzate.
• La Tensione Completezza-Fiducia: Sebbene il recupero basato su vettori abbia prodotto risposte più complete, gli esperti sono rimasti sensibili alle sottili allucinazioni o alle sovra-generalizzazioni contestuali all'interno di tali risposte. Ciò conferma che una maggiore profondità non equivale automaticamente a una maggiore fiducia se l'interpretabilità è compromessa.

4. Contributi Principali

Il documento apporta tre contributi primari:

1. Prototipo SpheriCity: Un agente conversazionale orientato alla provenienza, progettato specificamente per il sensemaking della conoscenza della sostenibilità, caratterizzato da sintesi strutturata e tracciabilità a livello di pagina.
2. Framework di Valutazione Basato sugli Esperti: Uno strumento di valutazione specifico per il dominio, co-sviluppato con esperti di sostenibilità, che va oltre le metriche generiche per valutare rilevanza, adeguatezza contestuale, accuratezza, neutralità e profondità.
3. Insight di Design per l'IA ad Alto Impatto: Evidenza empirica che, nei contesti di sostenibilità, la fiducia è calibrata attraverso la provenienza visibile e la comunicazione dell'incertezza piuttosto che attraverso la fluidità della risposta. Lo studio evidenzia che i sistemi di IA dovrebbero funzionare come strumenti collaborativi di sensemaking piuttosto che come decisori autorevoli.

5. Significato e Rivendicazioni

Gli autori posizionano questo lavoro come un passo necessario verso un'IA responsabile nella sostenibilità. Affermano che, affinché l'IA conversazionale sia utile nel supporto alle decisioni ad alto impatto, deve allinearsi ai workflow degli esperti che danno priorità alla verifica e alla responsabilità.

Il documento afferma modestamente che i suoi risultati suggeriscono un cambiamento nelle priorità di design:

• Dalla Fluidità alla Provenienza: I sistemi devono esporre la provenienza e l'ambito delle affermazioni per consentire un affidamento appropriato.
• Dalla Generazione di Risposte al Sensemaking: Le interfacce dovrebbero supportare l'esplorazione iterativa, il confronto e la giustificazione delle evidenze.
• Dall'Automazione alla Collaborazione: L'IA dovrebbe potenziare il giudizio umano facendo emergere incertezza e vincoli contestuali, invece di tentare di sostituire il ragionamento esperto.

Gli autori riconoscono i limiti, tra cui il piccolo campione, la natura statica della valutazione (priva di interazione multi-turno) e la restrizione ai soli rapporti di circolarità. Inquadrano questi aspetti non come fallimenti, ma come domande di ricerca aperte su come l'IA affidabile debba comportarsi quando le risposte errate hanno conseguenze civiche o ambientali. Il lavoro conclude che il futuro dell'IA nella sostenibilità risiede nella progettazione di sistemi che supportino un lavoro di conoscenza umano-IA trasparente, responsabile e collaborativo.