Riepilogo Tecnico: LENS – Scoperta di Requisiti Latenti da Conversazioni con gli Stakeholder basata su LLM

Definizione del Problema

Le interviste agli stakeholder sono una fonte primaria per l'estrazione dei requisiti, eppure una parte significativa di requisiti rilevanti rimane implicita. Gli stakeholder descrivono frequentemente flussi di lavoro, sfide operative e inefficienze senza articolare esplicitamente le capacità software necessarie per affrontarle. Sebbene la ricerca recente abbia esplorato l'uso di Large Language Models (LLM) per estrarre requisiti dai dati conversazionali, gli approcci esistenti si concentrano principalmente sull'identificazione di requisiti espressamente dichiarati. Questa limitazione trascura i requisiti latenti: opportunità plausibili di automazione del software che diventano evidenti solo quando le dichiarazioni degli stakeholder vengono interpretate nel contesto degli strumenti, dei floli di lavoro e delle infrastrutture organizzative esistenti. La sfida risiede nell'automatizzare l'inferenza di questi requisiti latenti mantenendo la tracciabilità rispetto alla conversazione originale e garantendo che i requisiti generati siano azionabili.

Metodologia: L'Approccio LENS

Gli autori propongono LENS (LLM-Enabled Needs Discovery from Stakeholder Interviews), un framework in due fasi progettato per analizzare le trascrizioni delle interviste agli stakeholder al fine di estrarre sia i requisiti espliciti che quelli latenti.

Workflow Principale

1. Fase 1: Estrazione dei Requisiti Espliciti:

   • L'LLM analizza le trascrizioni delle interviste per identificare i requisiti espressamente dichiarati dagli stakeholder.
   • Li estrae sotto forma di user story strutturate, collegate a specifici frammenti della trascrizione e timestamp per garantire la tracciabilità.
   • Il processo utilizza il few-shot prompting con regole specifiche per distinguere tra requisiti effettivi e la mera descrizione di processi manuali attuali o di automazioni esistenti.

2. Fase 2: Inferenza dei Requisiti Latenti:

   • L'LLM analizza le stesse trascrizioni insieme al contesto organizzativo, specificamente le descrizioni di software, infrastrutture e capacità di automazione disponibili.
   • Ragionando sulle descrizioni di punti critici (pain points) e inefficienze fornite dagli stakeholder alla luce di questi strumenti, l'LLM inferisce i requisiti latenti.
   • Per ogni requisito inferito, LENS genera una razionale strutturata spiegando:
     • Il problema o l'inefficienza sottostante.
     • Come il requisito affronta il problema utilizzando specifici strumenti organizzativi.
     • L'impatto previsto sulle pratiche organizzative (ad es., risparmio di tempo).

Implementazione Tecnica

• Modello: Lo studio ha utilizzato Claude Sonnet 4.5, scelto per le sue forti capacità di ragionamento e la sua ampia finestra di contesto.
• Prompt Engineering: Il sistema impiega prompt contenenti:
  • Definizioni di ruolo (estrattore vs. inferente).
  • Tredici criteri di Qualità della User Story (QUS) per garantire chiarezza, completezza e coerenza.
  • Regole specifiche per distinguere l'intento esplicito dal rumore conversazionale.
  • Esempi di few-shot per guidare la generazione.
  • Formati di output strutturati (JSON) per l'integrazione a valle.
• Grounding del Contesto: La Fase 2 inserisce esplicitamente un elenco di strumenti organizzativi e delle loro capacità per ancorare l'inferenza alla fattibilità tecnica.

Valutazione Empirica

Gli autori hanno condotto una valutazione preliminare in un contesto industriale con eSentire, un'azienda globale di cybersecurity.

• Dataset: Dodici trascrizioni di interviste semi-strutturate provenienti da un Security Operations Centre (SOC), che coprono la valutazione delle prestazioni degli analisti e i flussi di lavoro di reporting. Le trascrizioni duravano mediamente circa 60 minuti, contenendo circa 8.900 parole e 154 turni di parola.
• Metriche di Valutazione:
  • RQ1 (Accuratezza dell'Estrazione Esplicita): Misurata tramite Precisione, Recall e F1-score rispetto a un set di ground-truth costruito da un ricercatore e validato da esperti di dominio.
  • RQ2 (Utilità dei Requisiti Latenti): Valutata da due esperti di dominio indipendenti di eSentire. Gli esperti hanno valutato i requisiti in base al guadagno di tempo (confrontando l'esecuzione automatizzata rispetto a quella manuale), alla novità e alla fattibilità.

Risultati Chiave

• Requisiti Espliciti (RQ1):
  • Con un'impostazione di temperatura di 0.7, LENS ha ottenuto le migliori prestazioni:
    • Precisione: 73%
    • Recall: 100%
    • F1-Score: 84,4%
  • I falsi positivi sono stati causati principalmente dall'interpretazione errata da parte dell'LLM di menzioni di lavoro manuale (senza intento di automazione), discussioni su automazioni esistenti o linguaggio di conferma (ad es., "giusto?") come nuovi requisiti.
• Requisiti Latenti (RQ2):
  • Utilità: In media, il 75% dei requisiti latenti inferiti è stato valutato dagli esperti come fornitore di un Guadagno di Tempo Moderato o Alto (ovvero, potenziale di automazione o risparmio di tempo utile).
  • Novità: Gli esperti hanno notato che i requisiti inferiti spesso fornivano intuizioni e opportunità che gli stakeholder non avevano inizialmente considerato.
  • Sfide di Fattibilità: Circa il 49% del feedback degli esperti ha evidenziato una mancanza di dettagli tecnici concreti nei razionali. Altri problemi includevano dipendenze da specifici dati o API non completamente descritti e occasionali disallineamenti con le capacità reali degli strumenti proposti.

Contributi Chiave

1. Framework LENS: Un approccio innovativo che estende le capacità degli LLM oltre l'estrazione di requisiti espliciti fino all'inferenza di requisiti latenti attraverso il ragionamento sul contesto organizzativo (strumenti e infrastrutture).
2. Output Strutturato: La generazione di sia requisiti espliciti che latenti come user story tracciabili con razionali strutturati, collegandoli a specifici timestamp della trascrizione.
3. Valutazione Industriale Preliminare: Una valutazione realistica delle prestazioni degli LLM in un dominio di cybersecurity, dimostrando un'alta accuratezza nell'estrazione (F1 di 84,4%) e un significativo valore percepito nella inferenza latente (75% di potenziale risparmio di tempo).

Significato e Asserzioni

Il documento posiziona LENS non come uno strumento per produrre feature immediatamente pronte per l'implementazione, ma come un meccanismo per stimolare ulteriore discussione con gli stakeholder ed estrazione iterativa dei requisiti.

• Artefatti nelle Fasi Iniziali: Gli autori affermano che i requisiti latenti inferiti fungono da preziosi "artefatti di elicitazione nelle fasi iniziali". Essi aiutano a inquadrare le conversazioni attorno alla mitigazione delle inefficienze e alla realizzazione di un potenziale di automazione inesplorato che gli stakeholder potrebbero non aver articolato.
• Human-in-the-Loop: Lo studio sottolinea che la revisione esperta rimane critica. Il moderato accordo tra i valutatori e il feedback sulla fattibilità suggeriscono che i requisiti latenti generati dall'LLM debbano essere trattati come punti di partenza per idee piuttosto che come specifiche finalizzate.
• Necessità Contestuale: I risultati evidenziano che la qualità e la fattibilità dei requisiti inferiti dipendono fortemente da descrizioni ricche degli strumenti e delle infrastrutture dell'organizzazione. Senza questo ancoraggio, i suggerimenti dell'LLM possono apparire plausibili ma rimanere disallineati con i vincoli del sistema.

Gli autori concludono che, sebbene le loro scoperte siano preliminari (limitate a un'unica organizzazione e un unico dominio), forniscono una prima prova del fatto che gli LLM possono supportare efficacementamente sia l'estrazione di bisogni espliciti che la scoperta di opportunità latenti nell'ingegneria dei requisiti.