Riepilogo Tecnico: Ambig-DS: Un Benchmark per l'Ambiguità di Inquadramento del Compito negli Agenti di Data Science

Enunciato del Problema

Mentre gli agenti di data science evolvono da co-piloti a piloti automatici, emerge una modalità di fallimento critica: l'errato inquadramento silenzioso. A differenza degli errori di esecuzione (ad esempio, crash del codice o errori di sintassi), l'errato inquadramento silenzioso si verifica quando un agente si impegna in un'interpretazione plausibile ma non intesa dell'obiettivo di un compito. L'agente produce una pipeline pulita ed eseguibile e un artefatto di sottomissione valido, eppure l'inquadramento sottostante del compito (obiettivo di previsione o metrica di valutazione) è errato. Poiché la pipeline viene eseguita con successo e il formato di sottomissione è corretto, i benchmark standard — che valutano principalmente l'esecuzione della pipeline e la validità dell'artefatto — non riescono a rilevare questo fallimento.

I benchmark attuali (ad esempio, DS-1000, DSBench, MLE-bench) forniscono tipicamente prompt completamente specificati in cui l'obiettivo di previsione, la forma dell'output e la metrica di valutazione sono definiti esplicitamente. Tuttavia, i flussi di lavoro reali di data science spesso mancano di tali impegni; gli stakeholder forniscono un obiettivo e dei dati, lasciando al modellista la decisione su ciò che costituisce l'obiettivo e il successo. L'articolo sostiene che la capacità di riconoscere quando un compito è sottospecificato (cioè quando l'osservazione prompt-dati non giustifica un unico impegno) e di chiedere chiarimenti prima di agire è una competenza mancante nelle attuali valutazioni degli agenti.

Metodologia

Gli autori introducono Ambig-DS, un benchmark diagnostico accoppiato progettato per isolare e misurare l'ambiguità di inquadramento del compito. Il benchmark è costituito da due suite analizzate indipendentemente:

1. Ambig-DS-Target (51 compiti): Basato su DSBench (modellazione tabellare).
   • Intervento: Modifiche controllate prompt-dati in cui la colonna target reale viene rinominata (ad esempio, in val_1) e viene aggiunto un target esca plausibile (val_2). Il prompt viene riscritto utilizzando un linguaggio generico (ad esempio, "prevedi il valore") piuttosto che nomi specifici del target.
   • Costruzione: Il target esca è progettato per avere la stessa distribuzione marginale del target reale, ma è guidato da un diverso insieme di caratteristiche. Il rumore è calibrato in modo che l'esca sia quasi tanto prevedibile dalle caratteristiche quanto il target reale, impedendo agli agenti di distinguerle tramite semplici controlli di correlazione o apprendibilità.
2. Ambig-DS-Objective (61 compiti): Basato su MLE-bench (competizioni in stile Kaggle).
   • Intervento: Modifiche solo al prompt in cui i riferimenti espliciti alla metrica (ad esempio, "ROC-AUC", "RMSE") vengono rimossi e sostituiti con frasi generiche come "una procedura di valutazione standard". I dati, il target e il formato di sottomissione rimangono invariati.
   • Obiettivo: Creare ambiguità riguardo a se l'agente debba sottomettere probabilità, etichette rigide o come ottimizzare (ad esempio, massimizzare vs. minimizzare).

Protocollo di Verifica:
Ogni variante ambigua subisce una rigorosa pipeline di verifica che coinvolge revisione umana e audit incrociati tramite LLM contro un elenco di controllo a quattro voci:

• Alternative Plausibili: Esistono almeno due inquadramenti ragionevoli.
• Preservazione dell'Ambiguità: Nessun indizio rivela l'inquadramento previsto nel prompt o nei dati.
• Rilevanza della Decisione: Risolvere l'ambiguità cambia una scelta critica a livello di compito (ad esempio, selezione del target, tipo di output).
• Preservazione del Compito: La modifica non altera informazioni del compito non correlate.

Condizioni di Valutazione:
Gli agenti sono valutati in tre condizioni:

1. Completo: Il compito originale, completamente specificato.
2. Ambig.: La variante ambigua con nessun canale di chiarimento. Gli agenti devono impegnarsi in silenzio.
3. Chiedi: La variante ambigua in cui l'agente può porre una domanda di chiarimento autonoma (≤50 parole) a un Oracolo di Chiarimento prima della modellazione. L'oracolo risponde veritariamente ma è limitato alla specifica variabile di inquadramento mancante (nome del target o dettagli della metrica) e rifiuta richieste fuori ambito.

Contributi Chiave

1. Formalizzazione dell'Inquadramento del Compito: L'articolo isola due variabili di inquadramento fondamentali: l'obiettivo di previsione ($T$) e l'obiettivo di valutazione ($M$). Definisce "errato inquadramento non segnalato" come il fallimento nel riconoscere la sottospecificazione e l'impegno in un inquadramento non inteso senza chiedere.
2. Benchmark Ambig-DS: Il rilascio di due suite diagnostiche (112 compiti accoppiati in totale) costruite tramite interventi controllati che preservano i valutatori originali dei benchmark sorgente. Ciò garantisce che i cali di prestazioni siano attribuibili esclusivamente all'ambiguità di inquadramento, non a cambiamenti delle regole di punteggio.
3. Quantificazione Empirica: L'articolo quantifica la prevalenza dell'errato inquadramento silenzioso e la calibrazione del comportamento "chiedi-prima-di-agire" attraverso cinque agenti basati su codice all'avanguardia ed efficienti (Gemini 3 Flash/Pro, GPT-5.4 Nano/Pro, Claude Haiku 4.5).

Risultati

1. L'Errato Inquadramento Silenzioso è Prevalente

In tutti gli agenti, l'ambiguità induce un degrado significativo delle prestazioni:

• Ambiguità del Target: Gli agenti si impegnano in un target errato nel 39–63% delle esecuzioni ambigue (a seconda del modello). Si tratta di pipeline valide ed eseguibili che risolvono il problema sbagliato.
• Ambiguità dell'Obiettivo: Gli agenti mostrano un fallimento silenzioso nel 16–62% delle esecuzioni. Ciò si divide in due modalità:
  • Errato Inquadramento: Ottimizzazione per una metrica plausibile ma non intesa (ad esempio, accuratezza invece di AUC).
  • Abdicazione: Sottomissione di una baseline degenerata (ad esempio, previsioni costanti) piuttosto che tentare di risolvere l'ambiguità.
• Impegno Silenzioso: Anche quando gli agenti riconoscono l'ambiguità nelle loro tracce interne, raramente segnalano l'impegno finale come modificabile dall'utente. Il fallimento è caratterizzato da un "impegno silenzioso" in un inquadramento predefinito.

2. Il Chiarimento Recupera le Prestazioni

Quando agli agenti è consentito porre una singola domanda all'oracolo:

• Recupero: Le prestazioni migliorano significativamente, con $\Delta_{ask}$ (punteggio Chiedi meno punteggio Ambig) che varia da +0.03 a +0.20.
• Capacità vs Rilevamento: Gli agenti dimostrano la capacità di integrare le informazioni di inquadramento quando fornite perfettamente (il recupero è elevato), ma mancano della calibrazione per rilevare quando chiedere.
• Fallimento di Calibrazione: Nessuna combinazione modello-prompt raggiunge una calibrazione robusta:
  • Prompt Permissivi: Portano a un'alta sensibilità (recall) sui compiti ambigui ma a molti falsi positivi (domande non necessarie) sui compiti completamente specificati.
  • Prompt Conservativi: Riducono i falsi positivi ma sopprimono le richieste legittime sui compiti ambigui, portando a default silenziosi.

3. Firme del Fallimento

• Suite Target: I fallimenti sono sottomissioni discrete con target errato.
• Suite Obiettivo: I fallimenti sono un misto di errato inquadramento sostanziale (metrica errata) e abdicazione (arrendersi).
• Coerenza Cross-Suite: Il pattern di degrado sotto ambiguità e di recupero sotto chiarimento vale attraverso diverse famiglie di modelli (Gemini, GPT, Claude) e non è un artefatto degli specifici modelli oracolo o giudice utilizzati.

Significato e Affermazioni

L'articolo afferma che il riconoscimento della sottospecificazione di target e obiettivo è il collo di bottiglia mancante dalle valutazioni standard degli agenti di data science.

• Decoupling delle Competenze: Il lavoro separa la competenza di esecuzione della pipeline (l'agente può eseguire codice?) dalla competenza di inquadramento del compito (l'agente sa cosa risolvere?). I benchmark standard le confondono assumendo che il compito sia completamente specificato.
• Segnali Azionabili:
  • Per gli Utenti: Le variabili di inquadramento (target, metrica, tipo di output) devono essere specificate esplicitamente; ometterle causa cali di prestazioni affidabili anche per agenti capaci.
  • Per i Costruttori: La "calibrazione chiedi-act" dovrebbe essere un obiettivo concreto per il post-training o l'ingegneria dei prompt. Le attuali strategie di prompt spostano il punto di funzionamento ma non producono una sensibilità robusta all'ambiguità rilevante per le decisioni.
  • Per i Progettisti di Benchmark: I benchmark dovrebbero accoppiare compiti completamente specificati con varianti diagnostiche ambigue per evitare di sovrastimare la competenza degli agenti.

Gli autori mantengono una posizione modesta, notando che Ambig-DS è una suite diagnostica controllata, non un censimento di tutta l'ambiguità del mondo reale. I risultati stimano le modalità di fallimento sotto ambiguità verificata e rilevante per le decisioni, piuttosto che fornire un tasso di prevalenza per tutti i compiti di data science. Lo studio evidenzia che, sebbene gli agenti possano utilizzare informazioni mancanti se offerte, attualmente non riescono a rilevare in modo affidabile quando ne hanno bisogno.