Sintesi Tecnica: BT-APE per la Classificazione dei Requisiti

Definizione del Problema

I Large Language Models (LLM) sono sempre più applicati ai compiti di Requirements Engineering (RE), come la classificazione dei requisiti, grazie alla loro capacità di seguire istruzioni in linguaggio naturale senza addestramento specifico per il compito. Tuttavia, le prestazioni di questi modelli dipendono fortemente dalla qualità dei prompt utilizzati per guidarli. Nel dominio del RE, la progettazione dei prompt rimane un processo largamente manuale e ad hoc, basato su tentativi ed errori e sull'intuizione del professionista. Questa mancanza di ottimizzazione sistematica porta a risultati inconsistenti e subottimali, limitando la riproducibilità. Inoltre, esistono tecniche di Automatic Prompt Engineering (APE) nel campo generale del Natural Language Processing (NLP), ma la loro applicabilità ai compiti specifici del dominio RE e la loro efficacia rispetto alle strategie di prompting classiche rimangono inesplorate. Inoltre, i metodi APE esistenti spesso comportano elevati costi computazionali, rendendoli inadatti ad ambienti con risorse limitate, comuni nel RE, dove la riservatezza dei dati spesso richiede l'implementazione locale su server di piccole dimensioni.

Metodologia: BT-APE

Gli autori propongono BT-APE (Backtracking APE), un framework computazionalmente leggero che inquadra la progettazione dei prompt come un problema di ottimizzazione. Il metodo affina iterativamente i prompt utilizzando candidati generati da un LLM, una strategia di ricerca con backtracking e una selezione dinamica degli esempi.

Workflow Principale

Il processo è diviso in tre fasi utilizzando un dataset suddiviso in tre pool disgiunti: un pool per il campionamento degli esempi ($D_{pool}$), un set di validazione ($D_{val}$) e un set di test tenuto da parte ($D_{test}$).

1. Inizializzazione: Un prompt iniziale viene valutato sul set di validazione per stabilire una baseline.
2. Raffinamento Iterativo:
   • Generazione dei Candidati: Un LLM propone un nuovo prompt candidato condizionato sul prompt corrente e su un batch di esempi dinamico bilanciato. Questo batch viene aggiornato ad ogni iterazione per includere un esempio positivo classificato correttamente, un esempio negativo classificato correttamente, un esempio positivo classificato erroneamente e un esempio negativo classificato erroneamente da $D_{pool}$.
   • Valutazione: I candidati vengono valutati su $D_{val}$ utilizzando il voto di maggioranza su 3 esecuzioni per mitigare la stocasticità.
   • Backtracking Limitato: A differenza dei metodi che tornano immediatamente indietro dopo un singolo fallimento, BT-APE mantiene una lista ordinata di tutti i candidati valutati. Continua lungo una traiettoria finché non viene raggiunta una soglia di pazienza configurabile ($X=3$) di iterazioni consecutive senza miglioramenti. Solo allora effettua il backtracking al prompt successivo migliore nella cronologia, evitando di rimanere bloccato in regioni improduttive.
3. Valutazione su Set Tenuto da Parte: Il miglior prompt trovato durante la ricerca viene valutato esattamente una volta sul set di test tenuto da parte ($D_{test}$) per fornire una metrica di prestazione finale e non influenzata (unbiased).

Distinzioni Chiave di Design

BT-APE è esplicitamente confrontato con PE2, un baseline APE allo stato dell'arte. Sebbene entrambi siano metodi a singola traiettoria e consapevoli della cronologia (history-aware), BT-APE differisce in tre modi chiave per ridurre l'impronta computazionale:

• Contesto Limitato: PE2 condiziona le proposte sull'intera cronologia dei top-$n$ prompt, causando una crescita lineare del contesto di input. BT-APE condiziona solo sul prompt corrente e su un batch compatto e bilanciato, mantenendo il contesto di dimensioni contenute.
• Selezione Bilanciata degli Esempi: BT-APE impone una rigorosa quadrupla (successo/fallimento $\times$ classe), mentre PE2 utilizza un batch di errore non vincolato.
• Pazienza Esplicita: BT-APE utilizza una soglia di pazienza fissa per il backtracking, mentre PE2 reagisce in modo più immediato alla mancanza di miglioramenti.

Design Sperimentale

Lo studio valuta BT-APE attraverso:

• Dataset: Tre dataset benchmark di RE: PROMISE (NFR), PROMISE-Refined e SecReq.
• Modelli: Cinque LLM istruiti (instruction-tuned) nell'ordine di grandezza dei 7–8 miliardi di parametri (Qwen2, Falcon3, Granite-3.2, Ministral, LLaMA-3).
• Baseline: Quattro strategie di prompting classiche (Zero-shot, Few-shot, Chain-of-Thought, CoT+Few-shot) e il baseline APE PE2.
• Varianti di Inizializzazione: Sono state testate due strategie di inizializzazione: BT-APE-Uninformed (definizioni semplici e intuitive) e BT-APE-Informed (definizioni curate dalla letteratura RE).

Risultati Chiave

Prestazioni rispetto alle Baseline Classiche

BT-APE supera significativamente tutte e quattro le strategie di prompting classiche in quasi tutte le combinazioni di modello e dataset.

• Significatività Statistica: Il miglioramento medio nel weighted F1 ($wF1$) rispetto alle baseline classiche varia da +0,049 a +0,143, con grandi dimensioni dell'effetto ($r \ge 0,50$) e significatività statistica ($p < 0,05$ dopo la correzione di Holm-Bonferroni).
• Consistenza: BT-APE eguaglia o supera la migliore baseline classica in 11 configurazioni su 15 tra modelli e dataset.

Prestazioni rispetto a PE2 (Baseline APE)

• Accuratezza: BT-APE raggiunge prestazioni statisticamente indistinguibili da PE2 (differenza media $\Delta = +0,001$, dimensione dell'effetto trascurabile). Entrambi i metodi convergono verso un limite simile di prestazione.
• Efficienza: Nonostante l'accuratezza equivalente, BT-API è sostanzialmente più efficiente. Consuma circa il 72% in meno di token di input cumulativi e il 66% in meno di tempo di esecuzione (wall-clock time) rispetto a PE2. Ciò rende BT-APE più adatto per l'implementazione su piccoli server con risorse limitate o isolati (air-gapped).

Analisi delle Caratteristiche del Prompt (RQ3)

Un'analisi tramite modello lineare a effetti misti dell'evoluzione dei prompt ha rivelato specifici correlati di prompt ad alte prestazioni:

• Correlati Positivi: Un numero maggiore di verbi (linguaggio orientato all'azione) e un numero maggiore di segni di punteggiatura (chiarezza strutturale) sono associati a migliori prestazioni.
• Correlati Negativi: Numeri maggiori di frasi/parole, una maggiore diversità lessicale e una maggiore complessità sintattica correlano con prestazioni inferiori.
• Deriva Semantica: Le iterazioni che comportano cambiamenti semantici più ampi (deriva semantica) sono associate a miglioramenti delle prestazioni, suggerendo che una revisione sostanziale è più efficace rispetto a una parafrasi superficiale.

Impatto dell'Inizializzazione (RQ4)

• Informed vs. Uninformed: Fornire definizioni di classe informate dal dominio (BT-APE-Informed) non ha prodotto un miglioramento statisticamente significativo nelle prestazioni finali rispetto a definizioni minime e non informate (BT-APE-Uninformed).
• Robustezza: Il processo di ottimizzazione iterativa è stato abbastanza robusto da compensare prompt iniziali più deboli, convergendo a prestazioni finali comparabili indipendentemente dalla strategia di inizializzazione.

Significato e Contributi

Il documento rivendica tre contributi primari:

1. Un Framework APE Leggero: BT-APE fornisce un'alternativa computazionalmente efficiente agli esistenti metodi APE, ottenendo un'accuratezza allo stato dell'arte con un'impronta di risorse significativamente ridotta. Ciò consente l'applicazione dell'ingegneria automatizzata dei prompt in contesti di RE dove è richiesta l'implementazione locale e privata.
2. Valutazione Empirica Sistematica: Questo lavoro offre il primo confronto sistematico tra l'APE e il prompting classico per la classificazione dei requisiti attraverso molteplici dataset e LLM. Dimostra che l'APE si trasferisce in modo robusto ai compiti di RE con grandi dimensioni dell'effetto.
3. Approfondimenti sull'Evoluzione dei Prompt: Lo studio identifica specifiche caratteristiche strutturali e semantiche di prompt efficaci (concisi, orientati all'azione, strutturalmente chiari) e mostra che l'inizializzazione informata dal dominio non è strettamente necessaria affinché il processo di ottimizzazione abbia successo.

Gli autori posizionano BT-APE come una soluzione pratica che colma il divario tra l'alta prestazione dell'ottimizzazione automatizzata dei prompt e i vincoli di risorse degli ambienti RE reali. Rilasciano uno strumento interattivo e un pacchetto di replica per facilitare l'adozione e la ricerca ulteriore.