🤖 AI

OLAF: Towards Robust LLM-Based Annotation Framework in Empirical Software Engineering

Questo paper propone OLAF, un framework concettuale che tratta l'annotazione basata su LLM nell'ingegneria del software empirica come un processo di misurazione rigoroso, definendo costrutti chiave come affidabilità, calibrazione e deriva per migliorare la trasparenza e la riproducibilità.

Autori originali: Mia Mohammad Imran, Tarannum Shaila Zaman

Pubblicato 2026-01-27

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Mia Mohammad Imran, Tarannum Shaila Zaman

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di organizzare una biblioteca enorme di appunti disordinati e scritti a mano. In passato, avresti assunto un team di bibliotecari umani per leggere ogni appunto, decidere a quale categoria appartiene (come "Segnalazione Bug", "Richiesta di Funzionalità" o "Spam") e scrivere un'etichetta sopra. Questo è lento, costoso e, a volte, due bibliotecari potrebbero non essere d'accordo sullo stesso appunto.

Ora, immagina di assumere un robot super intelligente (un'IA o un Large Language Model) per fare l'etichettatura per te. È veloce ed economico. Ma ecco il problema: il robot sta facendo un buon lavoro o sta solo tirando a indovinare?

Questo articolo, intitolato OLAF, sostiene che dobbiamo smettere di trattare questi robot come scatole nere magiche che si limitano a "fare il lavoro". Inveve, dobbiamo trattarli come strumenti di misurazione scientifica, proprio come un termometro o una bilancia. Se usi una bilancia per pesare gli ingredienti per una torta, devi sapere se la bilancia è accurata, se devia nel tempo e se fornisce lo stesso risultato ogni volta che la usi.

Ecco la suddivisione delle idee dell'articolo utilizzando analogie semplici:

1. Il Probleo: La trappola della "Scatola Magica"

Attualmente, molti ricercatori usano l'IA per etichettare i dati ma non ci dicono come l'hanno fatto.

L'Analogia: Immagina che un panettiere dica: "Ho usato un forno speciale per cuocere questo pane". Ma non ti dice la temperatura, il tempo o la marca del forno. Se provi a cuocere lo stesso pane, potrebbe uscirne bruciato o crudo.
La Realtà: I ricercatori spesso dimenticano di menzionare piccoli dettagli come le parole esatte che hanno digitato per l'IA (il "prompt"), la versione specifica dell'IA o le impostazioni utilizzate. A causa di ciò, nessun altro può ripetere il loro esperimento per vedere se ottiene gli stessi risultati.

2. La Soluzione: OLAF (Il framework di "Controllo Qualità")

Gli autori propongono un nuovo framework chiamato OLAF. Considera OLAF come una lista di controllo per il controllo qualità che devi utilizzare prima di fidarti delle etichette del robot. Tratta l'IA non come un lavoratore, ma come uno strumento di misurazione che deve essere calibrato.

OLAF ti chiede di controllare sei elementi specifici (Costrutti):

Affidabilità (Il controllo della "Coerenza"): Se chiedi al robot di etichettare lo stesso appunto cinque volte, dà la stessa risposta? O cambia idea continuamente?
Consenso (Il controllo dell' "Abbraccio di Gruppo"): Se usi tre robot diversi, sono tutti d'accordo sull'etichetta? Se dicono tutti "Bug", è un segnale forte. Se sono in disaccordo, il compito potrebbe essere troppo confuso.
Aggregazione (Il sistema di "Votazione"): Come combini le risposte? Prendi semplicemente la maggioranza dei voti? O usi una formula matematica sofisticata per capire quale robot è il più affidabile?
Trasparenza (Il controllo della "Ricevuta"): Hai scritto tutto? Il nome del robot, il numero di versione, le parole esatte che hai digitato? Senza questa "ricevuta", il lavoro è inutile per gli altri.
Calibrazione (Il controllo della "Fiducia"): Se il robot dice: "Sono sicuro al 99% che questo sia un bug", è effettivamente corretto il 99% delle volte? O è solo eccessivamente sicuro di sé? Questo verifica se la fiducia del robot corrisponde alla realtà.
Deriva (Il controllo degli "Obiettivi che si spostano"): I modelli di IA cambiano nel tempo. Un robot che funziona perfettamente oggi potrebbe comportarsi diversamente il mese prossimo perché l'azienda ha aggiornato il suo software. OLAF controlla se il comportamento del robot è "derivato" o è cambiato inaspettatamente.

3. Come usare il Robot (Le Sei Configurazioni)

L'articolo spiega anche che non devi sempre lasciare che il robot faccia tutto. Suggerisce sei modi per mescolare umani e robot, come diverse ricette:

Human-in-the-Loop (Umano nel ciclo): Il robot fa un primo passaggio, ma un essere umano ricontrolla quelli di cui il robot non è sicuro. (Come uno studente che fa i compiti e un insegnante che corregge le parti difficili).
Model-in-the-Loop (Modello nel ciclo): Il robot suggerisce una risposta e un altro robot o un essere umano la controlla.
Verifier-in-the-Loop (Verificatore nel ciclo): Un secondo robot agisce come un "arbitro" per controllare se la risposta del primo robot è buona prima che un essere umano la veda.
Filter (Filtro): Il robot scarta rapidamente la spazzatura ovvia (come le email di spam) in modo che gli umani debbano guardare solo le cose importanti.
Judge (Giudice): Il robot agisce come un arbitro, valutando il lavoro di altre IA in base a un insieme di regole.
Annotator (Annotatore): Il robot fa tutto il lavoro da solo. (Questo è veloce, ma rischioso se il robot commette un errore).

4. Il Problema (Limitazioni)

Gli autori ammettono che questa non è ancora una soluzione perfetta.

L'Analogia: Non puoi fidarti completamente di un termometro se non sai come è stato costruito o se la fabbrica cambia il design ogni settimana.
La Realtà: Molti modelli di IA popolari (come quelli delle grandi aziende tecnologiche) sono "scatole nere". Non conosciamo i loro dati di addestramento e potrebbero cambiare senza avvisare. OLAF cerca di misurare quanto siano stabili, ma non può garantire che non cambieranno domani.

Riassunto

L'articolo dice: "Smettete di trattare l'etichettatura tramite IA come magia. Iniziate a trattarla come scienza."

Se vuoi usare l'IA per etichettare i dati nell'ingegneria del software, hai bisogno di un framework (OLAF) che ti obblighi a controllare se l'IA è coerente, se è onesta riguardo alla sua fiducia e se hai scritto esattamente come l'hai utilizzata. Senza questo, i tuoi risultati di ricerca potrebbero essere inaffidabili, come una torta fatta con un forno non misurato.

Sintesi Tecnica: OLAF – Verso un Framework di Annotazione Robusto Basato su LLM nell'Ingegneria del Software Empirica

Problematica
L'Ingegneria del Software Empirica (ESE) si affida sempre più ai Large Language Models (LLM) per automatizzare o assistere nei compiti di annotazione, come l'etichettatura dei bug report, la classificazione degli intenti dei commit o l'identificazione del debito tecnico auto-amministrato. Tuttavia, il rigore metodologico di queste pratiche rimane sottosviluppato. Gli studi attuali spesso trattano l'annotazione basata su LLM come un'attività puramente automatizzata piuttosto che come un processo di misurazione, portando a diverse lacune critiche:

Mancanza di Standardizzazione: Non esistono misure standardizzate per l'affidabilità, la calibrazione o il drift negli studi di annotazione con LLM.
Reporting Frammentato: I dettagli di configurazione essenziali (ad es., template dei prompt, parametri di decoding, versioni del modello) sono frequentemente omessi, ostacolando la riproducibilità.
Sensibilità alla Configurazione: Piccole variazioni nei prompt, nelle impostazioni di temperatura o negli aggiornamenti del modello possono alterare drasticamente i risultati (un fenomeno denominato "prompt drift" o "LLM hacking"), eppure tali sensibilità sono raramente quantificate.
Costrutti Non Definiti: Concetti astratti come la "precisione delle etichette" mancano di definizioni operative formali che li colleghino a procedure misurabili, minacciando la validità di costrutto, interna ed esterna.

Metodologia e Framework (OLAF)
Il documento propone l'Operationalization for LLM-based Annotation Framework (OLAF). Invece di offrire un nuovo algoritmo o un risultato sperimentale specifico, OLAF è un framework concettuale progettato per trattare l'annotazione tramite LLM come un processo misurabile e verificabile. Opera l'annotazione attraverso sei costrutti chiave e li mappa su metriche specifiche e focus di reporting (riassunti nella Tabella 1 del documento):

Affidabilità dell'Annotatore (Annotator Reliability): Misura l'accordo tra singoli annotatori (umani o modelli) utilizzando statistiche corrette per il caso (ad es., $\kappa$ di Cohen, AC1 di Gwet, $\alpha$ di Krippendorff).
Consenso (Consensus): Riflette l'accordo a livello di gruppo per determinare se gli annotatori convergano su un giudizio condiviso o se il compito contenga un'ambiguità intrinseca.
Aggregazione (Aggregation): Definisce i metodi per combinare più annotatori in un'unica etichetta, distinguendo specificamente tra aggregazione probabilistica (ad es., Dawid–Skene, GLAD, MACE) e voto di maggioranza.
Trasparenza (Transparency): Impone la documentazione completa di identificatori del modello, parametri, prompt e impostazioni (seguendo pratiche come Datasheets e Model Cards) per garantire la riproducibilità.
Calibrazione (Calibration): Valuta la correttezza delle probabilità predette confrontando i punteggi di confidenza con l'accuratezza empirica utilizzando metriche come l'Expected Calibration Error (ECE) e lo Score di Brier.
Drift (Drift): Cattura la stabilità comportamentale misurando quanto il comportamento del modello cambi sotto variazioni di prompt o di contesto, quantificato tramite distanze di attivazione (L2, coseno), metriche di distribuzione dell'output (divergenza di Jensen-Shannon) o indici di sensibilità del prompt (POSIX).

Il framework categorizza inoltre sei comuni workflow di annotazione (Tabella 2) per contestualizzare dove si applicano queste metriche:

Human-in-the-Loop (HitL)
LLM/Model-in-the-Loop (MitL)
Verifier-in-the-Loop (VitL)
LLM-as-a-Pre-screen-Filter
LLM-as-a-Judge (LLMaaJ)
LLM-as-an-Annotator

Contributi Chiave

Spostamento Concettuale: Il documento sostiene la necessità di riconcettualizzare l'annotazione tramite LLM da un compito di automazione a un processo di misurazione, che richiede lo stesso rigore di validazione delle metriche del codice tradizionali.
Definizioni Operative: Fornisce il primo set strutturato di definizioni operative per affidabilità, consenso, drift e calibrazione specificamente adattate all'annotazione basata su LLM nel campo della SE (Ingegneria del Software).
Linee Guida per la Pratica: Gli autori forniscono linee guida concrete per i ricercatori, tra cui:
- Dichiarare esplicitamente la configurazione di annotazione (ad es., HitL vs. LLM-as-an-Annotator).
- Documentare i dettagli completi del modello e del prompt.
- Selezionare i metodi di aggregazione appropriati in base all'accordo osservato.
- Implementare il tracciamento del drift utilizzando subset di calibrazione fissi (ad es., ri-annotando 50–100 elementi etichettati da esperti quando i parametri cambiano).
Fornitura di Risorse: Gli autori hanno stabilito un sito web di accompagnamento (se-llm-annotation-olaf.github.io) con linee guida dettagliate ed esempi.

Risultati e Rivendicazioni
In quanto position paper, OLAF non presenta nuovi dati sperimentali o risultati empirici che validino l'efficacia del framework. Al contrario, i suoi "risultati" sono la sintesi della letteratura esistente (citando lavori di Ahmed et al., Baumann et al., Wagner et al., ecc.) per dimostrare l'attuale mancanza di rigore.

Il documento afferma che:

Le attuali pratiche di annotazione con LLM sono insufficienti per contesti critici per la sicurezza o sensibili alla conformità, a causa di una definizione incompleta di affidabilità e calibrazione.
I sei costrutti proposti forniscono una base necessaria per la ricerca riproducibile, permettendo ai ricercatori di selezionare le dimensioni rilevanti per il proprio compito specifico (ad es., i compiti deterministici potrebbero non richiedere tutte e sei le dimensioni).
Il framework riconosce i limiti, in particolare riguardo ai modelli proprietari (ad es., GPT, Claude) dove i dati di addestramento e i programmi di aggiornamento sono opachi, rendendo la "stabilità vincolata" l'obiettivo realistico piuttosto che il comportamento deterministico.

Significatività
La significatività di OLAF risiede nel suo potenziale di elevare gli standard metodologici dell'Ingegneria del Software Empirica. Fornendo un vocabolario strutturato e un approccio di misurazione, mira a:

Motivare le discussioni metodologiche riguardanti la validità delle etichette generate da LLM.
Consentire al lavoro empirico futuro di essere più trasparente e riproducibile.
Impedire che la natura a "scatola nera" dell'annotazione tramite LLM comprometta la validità dei risultati della ricerca in SE.

Gli autori pongono OLAF come un primo passo, con la pianificazione di valutare empiricamente l'impatto del framework sulla riproducibilità e di sviluppare esempi operativi specifici per la SE.