🤖 AI

Evaluating Agentic Learning Harness Capabilities Without Labels via the Scaling Hypothesis

Questo articolo propone e valida un framework di valutazione senza etichette per harness di apprendimento continuo agentico nella cybersicurezza, dimostrando che misurare la convergenza di un modello studente verso un modello insegnante più forte tramite correzioni sparse funge da proxy affidabile per il vero miglioramento delle prestazioni quando non sono disponibili benchmark etichettati.

Autori originali: Aryan Luthra, Kshitij Jain, Siddharth Arya, Bobby Filar, Anna Bertiger

Pubblicato 2026-08-17

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Aryan Luthra, Kshitij Jain, Siddharth Arya, Bobby Filar, Anna Bertiger

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover insegnare a un robot come riconoscere una brutta email. Nel mondo dell'intelligenza artificiale, abbiamo questi modelli linguistici di grandi dimensioni (LLM), che sono super intelligenti e sanno leggere e scrivere come gli umani. Ma per renderli davvero utili per la sicurezza, devono imparare dai propri errori mentre procedono, un processo chiamato "Apprendimento Continuo" (Continual Learning). Di solito, per vedere se un robot sta imparando, gli diamo un test con una chiave di risposta nota (dati etichettati). Ma nel mondo reale della cybersicurezza, i cattivi cambiano i loro trucchi ogni giorno e raramente abbiamo una chiave di risposta perfetta. Otteniamo feedback solo quando il robot commette un errore enorme e ovvio. Questo lascia i team di sicurezza in un vicolo cieco: hanno un robot che deve imparare, ma non hanno modo di capire se i loro nuovi strumenti di apprendimento stiano effettivamente funzionando o stiano solo peggiorando le cose. Hanno bisogno di un modo per misurare i progressi senza una chiave di riferimento.

Questo articolo affronta esattamente questo problema. Gli autori propongono un ingegnoso aggiro utilizzando un setup "Insegnante-Studente". Invece di aspettare che un essere umano dia un voto al robot, usano un modello di IA molto più grande e intelligente come "Insegnante". Lasciano che l'Insegnante valuti il lavoro di un modello "Studente" più piccolo. L'idea è che se lo Studente inizia ad agire più come il saggio Insegnante dopo aver usato un nuovo strumento di apprendimento, allora quello strumento è probabilmente buono. Il articolo suggerisce che questo miglioramento "relativo all'Insegnante" è un segno affidabile del fatto che il tool funzionerebbe bene anche con il vero feedback umano, anche quando non esistono etichette umane. Tuttavia, gli autori lanciano anche un forte avvertimento: usare un'altra IA delle stesse dimensioni per giudiare il lavoro è una cattiva idea. Questi giudici "della stessa forza" sono troppo prevenuti; preferiscono i propri simili e non riescono a vedere quando uno studente è effettivamente migliorato.

La Scuola dei Robot e la Chiave di Risposta Mancante

Addentriamoci nella storia del "Learning Harness" (Imbracatura di Apprendimento). Immagina di avere un giovane robot apprendista (lo Studente) che cerca di imparare a smistare la posta. È abbastanza bravo, ma non perfetto. Per aiutarlo a migliorare, gli attacchi una "Imbracura di Apprendimento". Questa non è un potenziamento magico del cervello; è più come uno zaino pieno di post-it. Ogni volta che il robot commette un errore, un essere umano (o in questo caso, un robot più intelligente) scrive una nota su un blocco adesivo spiegando perché era sbagliato e qual era la risposta corretta. Il robot consulta poi queste note quando si trova di fronte a un nuovo problema simile.

Il problema è che, nel mondo reale, gli esseri umani sono impegnati. Scrivono queste note solo quando il robot commette un errore davvero grave che causa una crisi. Ciò significa che il robot riceve pochissime note e che queste arrivano in momenti casuali. Quindi, come fai a sapere se lo zaino di note sta effettivamente aiutando il robot a imparare?

Normalmente, daresti al robot un test con una chiave di risposta. Ma nella cybersicurezza, quella chiave di risposta non esiste ancora perché le minacce sono nuove. Non puoi aspettare un test perfetto; devi sapere ora se il sistema di apprendimento funziona.

Il Trucco Insegnante-Studente

Gli autori di questo articolo hanno ideato una soluzione brillante: L'Ipotesi della Scalabilità (Scaling Hypothesis). Pensa a questo come a una famiglia di robot. Hai un piccolo robot junior (lo Studente) e un gigante robot senior (l'Insegnante) della stessa famiglia. Poiché il robot senior è più grande e ha visto più dati, è quasi sempre più intelligente.

Ecco l'esperimento che hanno condotto:

Hanno preso un gruppo di email e hanno chiesto all'Insegnante di smistarle. Poiché l'Insegnante è così intelligente, gli autori hanno trattato le risposte dell'Insegnante come la "verità" (anche se non avevano una chiave di risposta umana).
Hanno dato lo stesso gruppo di email allo Studente.
Hanno lasciato che lo Studente commettesse errori, per poi fornirgli alcuni "post-it" (correzioni) basati su ciò che l'Insegnante aveva indicato come corretto.
Hanno osservato se lo Studente diventava più bravo a imitare le risposte dell'Insegnante.

La grande domanda era: Diventare più bravi a imitare l'Insegnante significa che lo Studente sta effettivamente migliorando nel compito reale?

Per scoprirlo, hanno eseguito un test segreto. Avevano alcune email con vere chiavi di risposta umane ("Gold Standard") che tenevano nascoste durante il processo di apprendimento. Hanno controllato se il miglioramento dello Studente verso l'Insegnante corrispondeva al suo miglioramento verso le vere risposte umane.

Il Risultato: Ha funzionato! L'articolo ha trovato una forte connessione. Quando lo Studente imparava a imitare l'Insegnante, diventava anche più bravo nel test umano reale. Questo suggerisce che se usi un'IA super intelligente per valutare il tuo sistema di apprendimento, e il sistema migliora, puoi essere fiducioso che migliorerebbe anche con il vero feedback umano. È come dire: "Se il mio studente inizia a pensare come il mio geniale professore, è probabile che stia imparando qualcosa di prezioso, anche se non ho ancora l'esame finale".

La Trappola del Giudice "Della Stessa Forza"

Ma c'è stato un colpo di scena. Gli autori hanno testato anche un'idea diversa che molti utilizzano: LLM-as-a-Judge (L'LLM come Giudice). Questo accade quando chiedi a un robot delle stesse dimensioni e capacità dello Studente di decidere quale versione sia migliore: quella con lo zaino di apprendimento o quella senza.

Immagina di chiedere a due bambini di 10 anni di giudicare chi è più bravo in matematica. Se uno di loro ha una chiave di risposta, l'altro se ne accorgerà? L'articolo ha scoperto che no, non se ne accorgerebbero.

Quando gli autori hanno usato un giudice "della stessa forza", i risultati sono stati un disastro:

Bias (Pregiudizio): I giudici spesso sceglievano semplicemente la prima risposta che vedevano, indipendentmente dal fatto che fosse corretta o meno.
Preferenza per i propri simili: I giudici tendevano a preferire le risposte del robot che era simile a loro (quello senza lo zaino) e rifiutavano la versione migliorata.
Affidabilità: Quando il giudice era corretto, lo era solo circa la metà delle volte (48% per alcuni modelli, che è essenzialmente lanciare una moneta).

L'articolo esclude esplicitamente l'uso di un'IA della stessa dimensione come giudice per questo compito. Suggerisce che un robot non può riconoscere in modo affidabile quando un altro robot del suo stesso livello è migliorato. È come chiedere a una persona che non conosce la risposta di correggere un test; semplicemente non può distinguere tra un buon tentativo e uno eccellente.

Cosa Significa per il Futuro

Gli autori sono cauti nel non dire che questa sia una soluzione magica che risolve tutto per sempre. Suggeriscono che questo metodo "Insegnante-Studente" è un modo valido per misurare gli strumenti di apprendimento quando non si hanno etichette. Hanno dimostrato che maggiore è il divario di intelligenza tra l'Insegnante e lo Studente, più affidabile diventa il test. Se l'Insegnante è solo leggermente più intelligente, il test diventa incerto.

Evidenziano anche che questo funziona meglio quando le correzioni sono "sparse" e "ad alta precisione", ovvero quando vengono corrette solo le correzioni davvero importanti, proprio come nel mondo reale.

Quindi, il messaggio per il adolescente curioso è questo: in un mondo in cui non possiamo sempre avere una chiave di risposta perfetta, possiamo usare un'IA "super intelligente" per valutare i nostri strumenti di apprendimento. Se lo strumento aiuta lo studente ad agire più come l'IA super intelligente, è probabilmente un buon strumento. Ma non chiedere a un'IA media di giudicare i suoi simili; saranno solo di parte e non noteranno il miglioramento. Questo offre ai team di sicurezza un nuovo modo per costruire robot auto-apprendenti migliori senza bisogno di una montagna di dati etichettati dagli umani.

Sintesi Tecnica: Valutazione delle capacità di apprendimento agentico tramite l'ipotesi di scaling senza etichette

1. Definizione del problema

Nell'ambito della cybersecurity operativa, i "continual learning harnesses" (sistemi che accoppiano Large Language Models con recupero o memoria per adattarsi tramite feedback) sono sempre più vitali per difendersi da minacce in rapido mutamento. Tuttavia, valutare questi harness è notoriamente difficile in contesti reali a causa della scarsità, dell'obsolescenza e del bias dei benchmark etichettati.

I metodi di valutazione tradizionali falliscono in questo contesto:

Benchmark etichettati: Spesso non disponibili, non rappresentativi o troppo sparsi per fornire un segnale chiaro dell'efficacia dell'harness.
LLM-as-a-Judge (LLM come giudice): Fallisce quando il modello giudice ha una capacità simile all'agente valutato. Un giudice non può identificare in modo affidabile miglioramenti che superano le proprie prestazioni di base.
Distillazione: La distillazione standard basata su fine-tuning o adapter è inaffidabile quando il feedback umano è scarso, sporadico e strutturato in modo irregolare.

Di conseguenza, i professionisti mancano di un metodo rigoroso per determinare se un determinato harness migliori le prestazioni di un modello o per confrontare diversi design di harness senza l'accesso a un dataset di "gold standard" etichettato.

2. Metodologia

Gli autori propongono un framework basato sulla Scaling Hypothesis (Ipotesi di Scaling) per valutare i learning harness end-to-end senza benchmark etichettati. Il presupposto fondamentale è che un modello "insegnante" (teacher) più forte possa fornire correzioni sparse ad alta precisione a un modello "studente" (student) più debole, e che la convergenza dello studente verso l'insegnante serva come proxy per il vero miglioramento.

Design Sperimentale

Lo studio utilizza una configurazione a tre modelli per ogni task:

Teacher (Insegnante): Un modello più grande e forte di una specifica famiglia (es. GPT-4.1, Gemini Pro) operante senza un harness.
Student (Studente): Un modello più piccolo e debole della stessa famiglia (es. GPT-4.1 Nano, Gemini Flash) operante senza un harness.
Student (Studente con Harness):* Lo stesso modello studente equipaggiato con un particolare continual learning harness.

Procedura:

Pseudo-Labeling: Il modello Teacher genera predizioni per un ampio pool di campioni non etichettati, trattandoli come "pseudo-label".
Correzioni Sparse: Il dataset è suddiviso in round. In ogni round, il modello Student* effettua delle predizioni. Un piccolo campione casuale (fino a 5) di misclassificazioni "ad alto impatto" (dove Student* diverge dal Teacher) viene fornito come correzione. Questo simula il ciclo di feedback sparso e ad alta precisione tipico degli analisti umani nelle operazioni di sicurezza.
Valutazione: Dopo più round, le prestazioni del modello Student grezzo e di Student* vengono misurate su un set di test tenuto separato utilizzando due metriche:
- $\Delta_G$ : Miglioramento rispetto alle Gold Labels (usate solo per la validazione finale).
- $\Delta_T$ : Miglioramento rispetto ai Teacher Pseudo-Labels.

Il framework testa se $\Delta_T$ correla con $\Delta_G$ . Se un harness migliora l'allineamento dello studente con l'insegnante, si assume che migliori l'allineamento dello studente con la verità fondamentale (ground truth).

Configurazioni dell'Harness

Lo studio valuta tre distinti design di harness:

Memory (Memoria): Recupera gli errori passati come record (estratto di input, predizione errata, etichetta di correzione), simile a MemPrompt o Reflexion.
Few-shot: Recupera le correzioni come esempi etichettati (input $\to$ etichetta corretta) per la generalizzazione, senza mostrare l'errore.
Lesson (Lezione): Una istanza separata del modello studente riflette su un errore per generare una breve "lezione" discriminativa (una regola empirica con indizi del tipo "applica solo quando"). Questo è progettato per gestire casi limite dove la formulazione o l'intento invertono l'etichetta corretta.

Ambito

Gli esperimenti sono stati condotti su:

Task: PhishFuzzer (classificazione email), CTIBench (attribuzione CVE-to-CWE) e classificazione delle tattiche ATT&CK.
Modelli: Tre famiglie (Gemini, GPT, Qwen) con varianti small/large.
Condizioni: Coppie della stessa famiglia (Teacher/Student della stessa famiglia) e coppie cross-family, a condizione che il Teacher superi lo Studente nel task di base.

3. Risultati Chiave

A. L'allineamento con il Teacher correla con la Verità Fondamentale

Il risultato principale è una forte correlazione positiva tra $\Delta_T$ (miglioramento rispetto al teacher) e $\Delta_G$ (miglioramento rispetto alle gold labels).

Validità: In tutti i task di sicurezza, famiglie di modelli e design di harness, gli harness che hanno migliorato l'allineamento dello studente con il teacher hanno anche migliorato l'allineamento con lo standard di riferimento (gold standard).
Gap di Capacità: La correlazione regge sia per le coppie della stessa famiglia che per quelle cross-family, purché esista un significativo gap di capacità. La validità del proxy dipende dall'entità del gap tra studente e teacher, non semplicemente dalla condivisione dell'architettura.
Scaling Hypothesis: Nei casi di disaccordo tra studente e teacher, il modello teacher più grande era corretto significativamente più spesso del modello studente più piccolo, validando l'assunto che il teacher funga da fonte affidabile di verità in assenza di etichette.

B. Inefficacia di LLM-as-a-Judge

Lo studio dimostra che l'uso di un LLM con una forza simile all'agente come giudice non fornisce alcun segnale utile:

Bias di Auto-preferenza: I giudici di livello "student" preferiscono sistematicamente i propri output di base rispetto agli output migliorati da un harness, anche quando l'output dell'harness è corretto.
Bassa Affidabilità: Un giudice della stessa forza ha mostrato una affidabilità rispetto alla ground truth di circa il 48% (vicino al caso casuale) e è sceso al 25% quando confrontava lo studente con il teacher, indicando un'incapacità sistematica di riconoscere le prestazioni superiori al proprio baseline.
Bias Posizionale: I giudici hanno mostrato alti tassi di inversione dei verdetti basati sull'ordine di presentazione quando non erano in grado di distinguere la qualità.

4. Significato e Rivendicazioni

Il documento sostiene di fornire una soluzione pratica per gli operatori di sicurezza per valutare e confrontare i learning harness in ambienti operativi dove le gold label sono assenti.

Proxy per il Feedback Umano: Gli autori sostengono che se un harness produce un incremento misurabile rispetto a un modello più forte (Teacher) usando correzioni sparse, è altamente probabile che produca guadagni simili quando le correzioni provengono da analisti umani. L'harness interagisce solo con le correzioni, non con la fonte (modello o umano); pertanto, il meccanismo di miglioramento è trasferibile.
Utilità Operativa: Questo framework permette ai professionisti di:
1. Determinare se un harness sia utile.
2. Confrontare due diversi design di harness per selezionare quello superiore.
3. Evitare le trappole di "LLM-as-a-judge" quando l'agente è già un modello di frontiera.
Limitazioni e Mitigazioni: Gli autori riconoscono che il proxy dipende da un sufficiente gap di capacità tra studente e teacher. Se il gap è ridotto o entrambi i modelli performano male, la correlazione si indebolisce. Suggeriscono di utilizzare la scaling hypothesis (confrontando modelli grandi vs piccoli) e di effettuare controlli puntuali con alcuni campioni etichettati per garantire che il teacher sia sufficientemente competente prima di distribuire il proxy.

In conclusione, il lavoro stabilisce che il lift relativo al teacher è un metrica valida e priva di etichette per valutare il valore dei learning harness agentici nella cybersecurity, offrendo un'alternativa rigorosa ai tradizionali benchmark in ambienti dinamici e con scarsità di dati.