Riepilogo Tecnico: Un Sistema di Consulenza Accademica Basato su RAG Implementato Localmente per la Selezione dei Corsi

Definizione del Problema

Gli studenti spesso faticano a costruire sequenze di corsi ottimali a causa del sovraccarico informativo, delle limitazioni di riconoscimento e della complessità dei prerequisiti presenti in ampi programmi di studio (syllabus). Di contro, le istituzioni educative affrontano sfide nel fornire una consulenza accademica adeguata e personalizzata a causa delle risorse limitate e dei carichi di lavoro elevati degli consulenti umani. Sebbene i chatbot basati su IA offrano una potenziale soluzione, i modelli standard di IA Generativa mancano dell'accesso a dati specifici dell'istituto e aggiornati sui programmi di studio, e l'addestramento di modelli dedicati richiede risorse computazionali che vanno oltre la portata di molte organizzazioni. Inoltre, i sistemi di Generazione Aumentata da Recupero (RAG) esistenti utilizzano spesso strategie di suddivisione (chunking) a dimensione fissa che non riescono a preservare l'integrità semantica dei documenti di syllabus semi-strutturati (ad es. tabelle, metadati, titoli di sezione), portando a un degrado della qualità del recupero.

Metodologia

Gli autori propongono Syllabot, un sistema RAG implementato localmente progettato per assistere gli studenti nella selezione dei corsi utilizzando le informazioni dei programmi di studio, preservando al contempo la privacy dei dati.

Architettura del Sistema

Il sistema opera su un flusso di lavoro in quattro fasi:

1. Pre-elaborazione: I documenti dei programmi di studio vengono convertiti in chunk basati su intestazioni, arricchiti con metadati (percorso della sorgente e informazioni sintetiche sul corso).
2. Indicizzazione: I chunk vengono indicizzati per il recupero.
3. Recupero (Retrieval): Data una query dello studente, il sistema recupera i chunk rilevanti utilizzando una di tre strategie:
   • BM25: Recupero lessicale utilizzando Janome per la tokenizzazione giapponese.
   • Recupero Semantico: Recupero basato su embedding utilizzando multilingual-e5-large e Pinecone.
   • Recupero Ibrido: Una combinazione di risultati lessicali e semantici fusi tramite Reciprocal Rank Fusion (RRF).
4. Generazione: Un Large Language Model (LLM) eseguito localmente, specificamente RakutenAI-7B-instruct, genera risposte basandosi esclusivamente sul contesto recuperato. La temperatura è impostata a 0.0 per garantire la coerenza.

Framework di Valutazione

Per valutare rigorosamente le prestazioni, lo studio introduce una tassonomia delle query orientata al recupero basata sulla complessità del recupero (definita dal numero di "gold chunk" richiesti e dalla sovrapposenza lessicale):

• Query di Corrispondenza Lessicale (Lexical Match): Singolo gold chunk, alta sovrapposizione di parole chiave.
• Query di Parafrasi Semantica (Semantic Paraphrase): Singolo gold chunk, bassa sovrapposenza di parole chiave.
• Query di Sintesi Multi-evidenza (Multi-evidence Synthesis): Richiede molteplici gold chunk.
• Query Fuori Ambito (Out-of-scope): Nessun gold chunk presente (utilizzate per testare il comportamento di rifiuto).

Le query di valutazione sono state generate automaticamente dai gold chunk predefiniti utilizzando un LLM. Il sistema è stato valutato utilizzando:

• Metriche di Recupero: Gold Chunk Precision@K e Recall@K.
• Metriche di Generazione: Fedeltà (grounding nel contesto) e Rilevanza della Risposta.
• Metrica di Confine: Tasso di Rifiuto (Refusal Rate) sulle query fuori ambito.

Contributi Chiave

1. Implementazione del Sistema: Un sistema RAG implementato localmente e che preserva la privacy per la consulenza accademica, riducendo la dipendenza da API cloud esterne.
2. Tassonomia e Generazione: Una nuova tassonomia delle query orientata al recupero e un metodo automatizzato per generare query di valutazione con etichette di gold chunk, consentendo un'analisi granulare della complessità del recupero.
3. Metriche di Valutazione: La proposta di Gold Chunk Precision@K e Recall@K per misurare direttamente la capacità del recuperatore di raccogliere le evidenze necessarie.
4. Analisi Empirica: Una valutazione completa che dimostra come l'efficacia della strategia di recupero vari significativamente in base al tipo e alla complessità della query.

Risultati Sperimentali

Lo studio ha utilizzato un corpus di 97 corsi universitari giapponesi e un set di valutazione di 100 query.

• Baseline: Una baseline basata solo su LLM (senza RAG) ha rifiutato il 93,3% delle query che avrebbero potuto ricevere risposta, confermando la necessità di dati esterni sui programmi di studio per questo dominio.
• Prestazioni di Recupero:
  • Corrispondenza Lessicale: Il recupero denso (semantico) ha operato in modo competitivo, raggiungendo la Precision@K più alta, sfidando l'assunto che il BM25 sia superiore per le query ricche di parole chiave in questo corpus.
  • Parafrasi Semantica: Come previsto, il recupero denso e quello ibrido hanno superato significativamente il BM25.
  • Sintesi Multi-evidenza: Il recupero ibrido non ha mostrato un vantaggio chiaro rispetto al recupero denso; entrambi hanno superato il BM25 in termini di Recall, sebbene la Precision del BM25 sia scesa rapidamente all'aumentare del Top-k.
  • Limitazione dell'Ibrido: La fusione ibrida a peso fisso (RRF) non ha costantemente superato il recupero denso, suggerendo che i chunk non pertinenti provenienti da una strategia possano diluire l'altra.
• Qualità della Generazione: All'aumentare del numero di chunk recuperati (Top-k), la Fedeltà è diminuita dopo il Top-10, indicando che un contesto eccessivo introduce rumore che degrada le prestazioni del leggero LLM locale.
• Capacità di Confine: I tassi di rifiuto per le query fuori ambito sono diminuiti all'aumentare del Top-k. Il modello è diventato più incline a generare allucinazioni di risposte plausibili ma non supportate quando fornito con contesti più ampi e potenzialmente superficialmente correlati.

Significato e Rivendicazioni

L'articolo sostiene che Syllabot dimostri con successo la fattibilità di sistemi RAG implementati localmente per la consulenza accademica, offrendo un'alternativa attenta alla privacy rispetto alle soluzioni basate su cloud. Lo studio evidenzia che la complessità del recupero detta l'efficacia della strategia; un approccio di recupero "taglia unica" è subottimale. Nello specifico, gli autori sostengono che, sebbene il recupero denso abbia performato bene nel loro corpus di syllabus, le strategie ibride a peso fisso potrebbero non essere necessarie o ottimali.

Gli autori riconoscono con modestia i limiti, notando che il recupero lessicale (BM25) mantiene vantaggi per i documenti con termini distintivi e che le attuali metriche di valutazione come la "Rilevanza della Risposta" possono penalizzare i rifiuti corretti o premiare risposte plausibili ma errate. Di conseguenza, l'articolo conclude che il lavoro futuro dovrebbe concentrarsi sul recupero orientato all'evidenza (identificare i chunk che contribuiscono all'evidenza piuttosto che solo alla similarità semantica) e sulla valutazione della generazione basata sull'evidenza per ridurre ulteriormente i rischi di allucinazione nei sistemi di consulenza accademica.