Oversight Has a Capacity: Calibrating Agent Guards to a Subjective, Fatiguing Human

Sintesi Tecnica: "La supervisione ha una capacità: calibrare le guardie degli agenti su un umano soggettivo e affaticabile"

Problematica
Man mano che gli agenti basati su Large Language Model (LLM) passano dal suggerire codice all'eseguire azioni irreversibili (ad esempio, il deployment di codice, l'esecuzione di comandi shell), il meccanismo di sicurezza standard è un gate di approvazione human-in-the-loop (HITL). L'assunto prevalente nel settore è duplice: (1) esiste una definizione di "rischio" oggettiva per le azioni, e (2) il revisore umano è un oracolo perfetto e infinitamente disponibile la cui affidabilità è indipendente dal volume delle richieste.

Questo articolo sostiene che entrambi gli assunti siano falsi. In primo luogo, il giudizio sul rischio è soggettivo e dipendente dal contesto, privo di un'unica etichetta corretta. In secondo luogo, i revisori umani sono endogeni al sistema; la loro affidabilità degrada all'aumentare del volume delle escalation (carico), portando alla "fatica da approvazione" dove si approvano acriticamente azioni malevole per svuotare la coda. Di conseguenza, una politica di guardia che scala più azioni non è necessariamente più sicura; può esaurire il budget finito di attenzione necessario per le minacce reali, risultando in un tasso di escalation ottimale per la sicurezza che è strettamente inferiore a "scala tutto".

Metodologia
Gli autori operazionalizzano la supervisione degli agenti come un problema di classificazione selettiva sotto costi asimmetrici e allocazione di risorse.

• Dataset: Un set curato di 125 azioni di agenti etichettate manualmente, deliberatamente pesate verso casi difficili, ambigui e avversari (ad esempio, rm -rf offuscato, modifiche a package.json, esfiltrazione di segreti). Le etichette sono categorizzate come sicuro, approvazione o bloccato.
• Scoring della Guardia: Le azioni vengono valutate da un LLM (predefinito Haiku, con Sonnet per confronto) su una scala di rischio da 0 a 100. Regole deterministiche gestiscono i casi netti.
• Framework di Misurazione:
  • Livello di Rumore (Noise Floor): Tre persona di LLM (cauta, pragmatica, rigorosa nel rispetto delle norme) etichettano il dataset per quantificare la soggettività del "rischio", calcolando il $\kappa$ di Fleiss per stabilire una linea di base per l'accordo.
  • Calibrazione Sensibile ai Costi: Il sistema analizza le soglie decisionali ($\theta$) per generare curve operative (Rischio-Copertura, Costo Atteso). I costi sono asimmetrici: mancare un'azione pericolosa è catastrofico (costo 50), mentre i falsi allarmi sono solo fastidiosi (costo 1).
  • Simulazione del Revisore Endogeno: Viene applicato un modello di fatica $r(\ell)$ dove l'affidabilità del revisore diminuisce linearmente dopo che viene superata una soglia di capacità $C$. Il sistema simula il "passaggio del pericolo" (attacchi riusciti) come funzione del tasso di escalation, tenendo conto sia delle mancanie della guardia che delle mancanie indotte dalla fatica umana.
  • Simulazione di Attacco: Viene simulato un attacco di inondazione (flooding) in cui un avversario nasconde una singola azione malevola in un flusso di azioni "riempitive" benigne per esaurire la capacità del revisore.

Risultati Chiave

1. Nessuna Verità Fondamentale (Livello di Rumore): L'accordo tra i revisori sulle 125 azioni è solo moderato ($\kappa$ di Fleiss = 0,52). La persona "pragmatica" ha etichettato 87 azioni come sicure, mentre la persona "cauta" ne ha etichettate solo 45 come sicure. Ciò conferma che le etichette di sicurezza sono contestabili e dipendono dalla tolleranza al rischio, non da una verità oggettiva.
2. Limiti Misurabili della Guardia: Su questo set difficile, la guardia non può decidere autonomamente in modo sicuro. La politica che minimizza i costi sotto costi asimmetrici collassa verso l' "escalation di quasi tutto" per raggiungere lo 0% di pericoli mancati, risultando in un alto tasso di falsi allarmi. L'Area Sotto la Curva Rischio-Copertura (AURC) è 0,374 $\pm$ 0,002, indicando il limite intrinseco della guardia sugli input ambigui.
3. La Curva di Sicurezza a U Invertita: Modellando il revisore come endogeno, emerge una relazione a U invertita tra il tasso di escalation e la sicurezza realizzata.
   • Bassa Escalation: Alto passaggio del pericolo dovuto alle mancanne della guardia (autorizzazione automatica di rischi).
   • Alta Escalation: Alto passaggio del pericolo dovuto alle mancanze per fatica (revisori che approvano acriticamente).
   • Ottimo: Il tasso di escalation ottimale per la sicurezza è strettamente inferiore al 100%. Per una capacità del revisore di 25, il tasso ottimale è il 64%, producendo un passaggio del pericolo del 42%, mentre l'escalation totale (100%) risulta in un passaggio del pericolo del 57%.
4. Difesa contro l'Inondazione (Flooding): Una politica "consapevole del carico" (che scala meno le azioni di routine) aumenta significativamente lo sforzo richiesto all'attaccante per indurre la fatica. Mentre una politica paranoica (88% di escalation) permette un tasso di successo del 40% con sole 50 azioni di riempimento, una politica consapevole del carico (26% di escalation) mantiene lo 0% di successo finché l'attaccante non inonda il sistema con circa 100 azioni.
5. Dipendenza dal Modello: Modelli più forti (Sonnet) migliorano leggermente le prestazioni (AURC 0,351 vs 0,373), ma non eliminano la necessità di supervisione umana sugli input difficili. I risultati sono riproducibili attraverso diversi seed e temperature.

Contributi e Significatività
L'articolo dichiara esplicitamente di non rivendicare meccanismi nuovi. Il deferimento consapevole della fatica (FALCON), il deferimento sensibile ai costi sotto vincoli (DeCCaF) e gli attacchi basati sulla fatica sono precedenti noti.

Il contributo dell'articolo è applicativo e basato sulla misurazione:

• Implementazione del Sistema: Un firewall per agenti open-source e un apparato di misurazione che operazionalizza questi concetti insieme nel contesto del gating delle azioni degli agenti LLM.
• Misurazione Empirica: Fornire un "livello di rumore" misurato per il rischio delle azioni degli agenti, dimostrando che l'assunto del settore di una verità fondamentale è falso nei domini soggettivi.
• Calibrazione della Supervisione: Trasformare la domanda "La mia guardia è buona?" da un'ipotesi a una curva misurabile (AURC, punti operativi).
• Dimostrazione della U Invertita: Mostrare nel contesto specifico degli agenti LLM che "più supervisione" può significare "meno sicurezza", e che la politica di escalation ottimale per la sicurezza è un tasso intermedio, non la massima escalation.

Limitazioni e Ambito
Gli autori sono modesti nelle loro rivendicazioni:

• La "U invertita" è un risultato di modellazione basato su una curva di fatica simulata, non un reperto empirico da soggetti umani.
• Il dataset è piccolo (125 azioni) e di dominio singolo (agenti di coding); i risultati sono dimostrazioni dello strumento, non stime della popolazione.
• Le persone dei revisori sono proxy LLM, non esseri umani reali.
• L'ambito è limitato a domini con giudizio soggettivo e risultati ritardati (ad esempio, gating di agenti, moderazione dei contenuti), non a domini di verità oggettiva (ad esempio, frodi bancarie).

Conclusione
L'articolo inquadra la supervisione degli agenti come un problema di allocazione delle risorse in cui l'attenzione umana è finita. Sostiene che la politica di escalation di una guardia debba essere calibrata non solo per rilevare il rischio, ma per preservare la capacità del revisore di rilevare il rischio critico. Misurando il compromesso tra il volume di escalation e la fatica del revisore, il sistema identifica un punto operativo che massimizza la sicurezza, provando che l' "escalation di tutto" è strettamente subottimale.