Sintesi Tecnica: Ragionamento Deontico con Harness Agenti (DAR)

Problema

Il ragionamento deontico consiste nel rispondere a domande applicando regole e politiche esplicite a fatti specifici di un caso, una capacità critica in domini ad alto rischio come la tassazione, i ricorsi per l'immigrazione e la conformità alle politiche. La principale sfida tecnica in questo dominio è la natura dei set di regole: gli statuti sono spesso lunghi, pesantemente ricorsivi tramite riferimenti incrociati e contengono disposizioni in cui la maggior parte è irrilevante per un caso specifico, mentre gli obblighi sono qualificati da definizioni ed eccezioni situate altrove nel testo.

I paradigmi di valutazione attuali tipicamente inseriscono l'intero statuto, i fatti del caso e la domanda in un unico prompt, richiedendo al modello di identificare e applicare le regole rilevanti in un unico passaggio. Tuttavia, studi recenti sulla ricerca agentica suggeriscono che i modelli gestiscono meglio i corpora lunghi quando possono ricercarli utilizzando strumenti general-purpose (ad esempio, grep, sed, comandi shell) piuttosto che riceverli come contesto statico. Rimane una questione aperta se questo vantaggio della "ricerca agentica" si estenda al ragionamento deontico, dove il compito non è la semplice estrazione, ma il ragionamento fondato sulle regole estratte.

Metodologia

Gli autori introducono il Deontic Agentic Reasoning (DAR), un framework in cui lo statuto non viene fornito come contesto statico, ma viene invece posizionato come un file (statute.txt) all'interno di un ambiente harness. Il modello interagisce con questo file su richiesta utilizzando strumenti general-purpose.

Configurazione Sperimentale

• Dataset: La valutazione è condotta sui subset difficili di DeonticBench, che coprono quattro compiti:
  • SARA (Numerico): Calcolo numerico della responsabilità fiscale (tasse federali USA).
  • SARA (Binario): Classificazione binaria di entailment statutario.
  • Airline: Applicazione delle politiche sulle tariffe dei bagagli.
  • USCIS-AAO: Predizione dell'esito di un ricorso per l'immigrazione.
• Modelli: Lo studio valuta nove modelli, inclusi modelli proprietari di frontiera (GPT-5.1, GPT-5.2, Claude Sonnet 4.5) e modelli open-source (famiglia Qwen3.5, Qwen3-Coder, Kimi K2).
• Harness: Gli autori confrontano il Direct Solving (contesto statico) con due harness agentici orchestrati dal framework Harbor:
  • Terminus-2: Un harness agente basato su terminale dove il modello opera autonomamente in un sandbox tramite una sessione tmux interattiva.
  • Terminus-KIRA: Un harness potenziato costruito su Terminus-2, progettato per mitigare specifici modi di fallimento osservati nei modelli di frontiera, come la sottomissione prematura, i segnali di completamento falsi e la fragilità dell'aggiustamento del piano.

Risultati Chiave

Gli esperimenti rivelano una divergenza netta nelle prestazioni in base alla capacità del modello:

1. I Modelli di Frontiera Beneficiano: I modelli proprietari (GPT-5.2, Claude Sonnet 4.5, GPT-5.1) mostrano miglioramenti significativi sotto gli harness agentici, in particolare nei compiti numerici.

   • Su SARA-Numeric, GPT-5.2 è migliorato dal 30% (Direct) al 60% (Terminus-KIRA).
   • Claude Sonnet 4.5 è salito dal 36% al 54%.
   • Questi modelli sfruttano l'harness per eseguire una ricerca autodiretta e recuperare da errori intermedi, sblcando efficacemente le abilità latenti di lettura dello statuto.

2. I Modelli Open-Source Peggiorano: Lo stesso scaffolding che aiuta i modelli di frontiera causa un significativo degrado delle prestazioni nei modelli open-source, specialmente nei compiti numerici.

   • Qwen3.5-35B è sceso dal 34% all'11% su SARA-Numeric sotto Terminus-KIRA.
   • Qwen3.5-122B è sceso dal 37% al 20%.
   • Sul compito Airline, ogni modello open-source è crollato verso un'accuratezza vicina allo zero sotto Terminus-2 e Terminus-KIRA, nonostante avessero baseline non trascurabili nel direct solving.

3. Consumo di Token e Modi di Errore:

   • Gli harness agentici aumentano significativamente il consumo di token. I modelli open-source sotto Terminus-2 hanno consumato fino a 4 volte più token per prova rispetto ai modelli di frontiera (ad esempio, Qwen3.5-122B ha mediato 401k token contro i ~100k dei modelli di frontiera).
   • Invece di un arresto intelligente, i modelli più deboli sembrano utilizzare i turni aggiuntivi per generare risposte più lunghe, più sicure, ma errate.
   • L'analisi degli errori mostra che i modelli open-source soffrono principalmente di timeout (superamento del budget di 10 minuti) e fallimenti di parsing, mentre i modelli di frontiera rimangono ampiamente privi di errori attraverso gli harness.

Contributi

Il documento apporta tre contributi primari:

1. Framework DAR: L'introduzione del Deontic Agentic Reasoning, una configurazione in cui gli agenti accedono agli statuti su richiesta tramite un harness anziché tramite contesto statico.
2. Confronto Sistematico: Una valutazione completa di DAR rispetto al prompting diretto attraverso uno spettro di modelli di frontiera e open-source su DeonticBench.
3. Effetti Dipendenti dalla Capacità: La dimostrazione che l'efficacia degli harness agentici non è uniforme; essi agiscono come amplificatori di capacità per i modelli di frontiera, ma possono degradare le prestazioni dei modelli più deboli aumentando al contempo i costi computazionali.

Significato e Rivendicazioni

Il documento sostiene che gli harness agentici spingono la frontiera nei compiti più difficili di ragionamento deontico, ma non sono una soluzione universale. Le scoperte supportano l'"Ipotesi dei Geni Mal Gestiti", suggerendo che i modelli capaci possiedono abilità latenti per navigare regole complesse che vengono sbloccate solo quando dotati di accesso strumentale interattivo. Al contrario, per i modelli più deboli, l'harness agisce come un "amplificatore di fiducia", portando a output più verbali ma meno accurati.

Gli autori mettono in guardia contro l'assunzione che fornire l'accesso agli strumenti migliori uniformemente le prestazioni. Evidenziano che, per i modelli più deboli, gli harness possono produrre errori sicuri pur consumando una quantità sostanzialmente maggiore di calcolo. Di conseguenza, sconsigliano di implementare gli attuali LLM, con o senza harness agentici, come decisori autonomi in contesti legali o fiscali ad alto rischio, notando che anche i modelli di frontiera raggiungono solo un'accuratezza parziale in questi compiti.

Lo studio è limitato al dominio DeonticBench (tasse USA, immigrazione, politiche aeree) e a specifiche implementazioni di harness. Gli autori notano che per set di regole sostanzialmente più lunghi (ad esempio, l'intero Codice Tributario degli Stati Uniti), l'attuale approccio basato su file potrebbe non scalare efficientemente senza accoppiare il DAR con sistemi di recupero più avanzati.