SLRMentor: An LLM-Based Tool Supporting Learning of SLR in Software Engineering

Sintesi Tecnica: SLRMentor

Problematica
La conduzione di Revisioni Sistematiche della Letteratura (SLR) è un'attività fondamentale nell'Ingegneria del Software Basata sull'Evidenza (EBSE), tuttavia essa presenta sfide significative per i ricercatori novizi. La fase di pianificazione — specificamente la formulazione delle domande di ricerca, la costruzione delle stringhe di ricerca e la definizione dei criteri di inclusione/esclusione — è identificata come critica per la qualità della revisione, ma è spesso dispendiosa in termini di tempo e soggetta a errori a causa delle variazioni terminologiche e della complessità della sintassi dei database. Sebbene siano stati esplorati strumenti basati sull'IA per migliorare l'efficienza nella selezione degli studi e nel suggerimento di parole chiave, essi spesso mancano di supporto per la comprensione metodologica e l'apprendimento del processo di SLR stesso. Gli attuali approcci educativi faticano a rendere esplicito il ragionamento metodologico sottostante, portando spesso gli studenti a concentrarsi sulla produzione di artefatti piuttosto che sull'impegno con la logica decisionale richiesta per revisioni rigorose.

Metodologia
Questo studio impiega il metodo di ricerca Design Science per sviluppare e valutare un artefatto software denominato SLRMentor. Lo strumento è un assistente conversazionale basato su Modelli di Linguaggio di Grandi Dimensioni (LLM) (specificamente OpenAI e Google Gemini) progettato per supportare le attività di pianificazione delle SLR.

• Architettura e Meccanismo: SLRMentor utilizza la Generazione Aumentata dal Recupero (RAG) per ancorare le proprie risposte a linee guida e documentazione metodologica curate (ad es. [10, 12, 14]). Questa scelta di design garantisce che gli output generati siano coerenti con le pratiche consolidate e ne migliora la trasparenza, evitando che il modello si affidi esclusivamente alla generazione non contestualizzata.
• Componenti Funzionali: Lo strumento è strutturato attorno a tre moduli conversazionali orientati all'apprendimento:
  1. Mentor Chat: Fornisce una guida generale sulle fasi della SLR, sui principi metodologici e sulle fonti di bias per supportare la comprensione concettuale.
  2. Search String Chat: Assiste nella traduzione degli obiettivi di ricerca in stringhe di ricerca strutturate, spiegando la selezione delle parole chiave, i sinonimi e gli operatori booleani.
  3. Criteria Chat: Supporta la derivazione dei criteri di inclusione ed esclusione dagli obiettivi dello studio, spiegando come tali criteri operazionalizzano l'ambito e la rilevanza.
• Validazione: È stata condotta una validazione pilota in un corso di laurea magistrale in ingegneria del software coinvolgente otto studenti (quattro dottorandi, quattro magistrali), tutti novizi revisori. Quattro partecipanti hanno interagito volontariamente con lo strumento dopo aver completato i relativi compiti del corso svolti manualmente. La valutazione è stata esplorativa e formativa, utilizzando un questionario strutturato con item su scala Likert e domande aperte per valutare chiarezza, coerenza con le pratiche note e il supporto percepito per l'apprendimento e la riflessione.

Contributi Chiave
Il contributo primario di questo lavoro è l'artefatto SLRMentor stesso, un'interfaccia conversazionale progettata non per automatizzare i compiti di revisione, ma per agire come uno scaffold per l'apprendimento del ragionamento metodologico. Le caratteristiche tecniche chiave includono:

• Spiegazioni Ancorate alle Linee Guida: A differenza dei chatbot generici, SLRMentor lega esplicitamente il proprio ragionamento alle linee guida consolidate tramite RAG, garantendo che il contenuto educativo sia allineato agli standard EBSE.
• Supporto alla Raffinazione Iterativa: Il sistema consente agli utenti di rivedere obiettivi e artefatti attraverso molteplici interazioni, rispecchiando la natura iterativa dello sviluppo del protocollo nella pratica.
• Focus sul Ragionamento rispetto all'Automazione: Lo strumento è progettato per fornire spiegazioni sul "perché" e sul "come" delle decisioni di pianificazione (ad es. perché un termine specifico è incluso in una stringa di ricerca) piuttosto che produrre semplicemente un artefatto finale non esaminato.

Risultati
La validazione pilota ha prodotto approfondimenti qualitativi e quantitativi da parte di quattro partecipanti:

• Percezione come Strumento di Apprendimento: I partecipanti hanno costantemente visto SLRMentor come un "supporto orientato all'apprendimento" piuttosto che uno strumento per produrre artefatti definitivi. È stato descritto come uno "scaffold amichevole per i principianti" che ha aiutato a strutturare compiti di pianificazione complessi.
• Chiarezza e Allineamento: La Mentor Chat ha ricevuto punteggi elevati per chiarezza e allineamento con le pratiche consolidate. I partecipanti hanno notato che ha aiutato a "analizzare i complicati requisiti della revisione sistematica della letteratura".
• Costruzione della Stringa di Ricerca: La Search String Chat è stata lodata per essere educativa piuttosto che prescrittiva. I partecipanti hanno ritenuto che spiegasse efficacementamente il ragionamento dietro la selezione di termini e operatori, sebbene abbiano riconosciuto la necessità di un ulteriore raffinamento da parte dello studente.
• Definizione dei Criteri: I risultati per la Criteria Chat sono stati più contrastanti. Mentre alcuni partecipanti l'hanno trovata utile per illustrare categorie comuni e derivare criteri iniziali, altri hanno notato una variabilità nella comparabilità tra i criteri generati dallo strumento e i loro controparti definiti manualmente.
• Necessità di Giudizio Attivo: Un tema ricorrente è stato che lo strumento supporta l'apprendimento ma non sostituisce la necessità di un giudizio metodologico attivo. I partecipanti hanno sottolineato che lo strumento aiuta la comprensione e la riflessione, ma richiede che il ricercatore prenda le decisioni finali.

Significatività e Rivendicazioni
L'articolo sostiene che SLRMentor affronti una lacuna negli attuali strumenti educativi integrando l'assistenza conversazionale e ancorata alle linee guida direttamente nelle attività di pianificazione della SLR. La sua significatività risiede in:

1. Abbassamento delle Barriere: Riduce le barriere iniziali per i ricercatori novizi fornendo spiegazioni on-demand e una guida strutturata, rendendo il processo di SLR più accessibile.
2. Ragionamento Esplicito: Rende esplicito il ragionamento metodologico, permettendo agli studenti di confrontare la guida generata dallo strumento con le proprie decisioni, favorendo così la riflessione critica.
3. Ruolo Complementare: Gli autori posizionano modestamente lo strumento come un complemento, e non un sostituto, degli approcci didattici stabiliti e della supervisione umana. È progettato per rafforzare i concetti metodologici e strutturare la pratica, mantenendo la necessità della responsabilità del ricercatore.

Gli autori concludono che, sebbene il pilota suggerisca che lo strumento sia efficace per l'apprendimento e la riflessione, sono necessari studi empirici su scala più ampia per valutare i risultati dell'apprendimento a lungo termine e la trasferibilità su diverse popolazioni di studenti. Il lavoro futuro mira ad espandere il corpus di recupero e ad estendere il supporto alle fasi successive della SLR, come la selezione degli studi e la sintesi dei dati.