Harness-IF: Evaluating Instruction Following Across Instruction Surfaces in Coding Agents
Questo articolo introduce Harness-IF, un nuovo benchmark che valuta le reali capacità di seguire le istruzioni degli agenti di codifica attraverso diverse superfici, distinguendo la conformità genuina dalla coincidenza mediante una nuova metrica chiamata Against-Prior Accuracy (AP-Acc), rivelando che gli benchmark esistenti sopravvalutano le prestazioni e che la precedenza delle regole non segue strettamente la profondità del prompt.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di insegnare a un robot chef a cucinare un pasto complesso. Non ti limiti a urlare un unico comando come "Fai la pasta!" alla fine di tutto. Invece, hai un intero insieme di istruzioni: un libro di regole appeso al muro (il system prompt), una nota sulla scheda della ricetta (il file di progetto), una descrizione di come funziona il coltello (la descrizione dello strumento) e, infine, la tua richiesta specifica allo chef (l'istruzione dell'utente). Per molto tempo, gli scienziati che testavano questi chef AI si sono preoccupati di una sola cosa: lo chef ha servito la pasta? Se il piatto era buono, gli davano una stella d'oro. Ma non hanno mai controllato a quali istruzioni lo chef avesse effettivamente ascoltato. Magari lo chef ha ignorato il libro delle regole sul "niente aglio" perché, per caso, amava la pasta senza aglio in ogni caso. Questo è l'angolo complicato dell'intelligenza artificiale che stiamo esplorando: l'Instruction Following (seguire le istruzioni). Non si tratta solo di ottenere la risposta giusta; si tratta di dimostrare che il robot ha seguito le regole specifiche che gli hai dato, anche quando quelle regole vanno contro ciò che il robot avrebbe fatto naturalmente.
Questo articolo, intitolato "Harness-IF", è come un'agenzia investigativa per chef AI. I ricercatori si sono resi conto che i test esistenti erano troppo facili perché guardavano solo al piatto finale. Volevano sapere se il robot stesse effettivamente obbedendo alle regole o se fosse solo stato fortunato. Così, hanno costruito un nuovo test super dettagliato chiamato Harness-IF. Invece di chiedere semplicemente "Hai fatto la pasta?", hanno impostato 60 scenari di programmazione realistici in cui l'IA doveva seguire 256 diverse piccole regole. Queste regole erano nascoste in posti diversi nel "cervello" del robot: alcune nel system prompt, altre nei file di progetto, altre nelle descrizioni degli strumenti e altre ancora nella chat diretta dell'utente.
Ecco la grande sorpresa che gli investigatori hanno scoperto: i modelli di IA sono molto più bravi a seguire regole che corrispondono a ciò che avrebbero fatto comunque rispetto a regole che vanno contro le loro abitudini naturali. I ricercatori chiamano questo il test "Against-Prior" (Contro il Prior). Hanno scoperto che quando una regola costringeva l'IA a fare qualcosa di diverso dal suo comportamento predefinito, il tasso di successo dell'IA diminuiva significativamente. In media, i modelli erano circa 5,8 punti percentuali peggiori nel seguire regole che andavano contro la loro natura. È come uno studente che prende un A in un test di matematica perché ama la matematica, ma prende un C quando l'insegnante gli chiede di risolvere un problema usando un metodo che odia. Il documento suggerisce che se guardiamo solo al voto finale (il successo del compito), ci stiamo ingannando pensando che lo studente sia un genio della matematica, quando invece potrebbe solo stare procedendo con il minimo sforzo grazie al suo talento naturale.
Lo studio ha anche esaminato dove venivano posizionate le regole. Potresti pensare che la regola pronunciata per ultima (l'istruzione dell'utente) sarebbe la più importante, come l'ultima persona che parla in una riunione di solito vince. Ma i dati hanno mostrato qualcosa di diverso. Le regole trovate nel system prompt, nei file di progetto e nelle istruzioni dell'utente si sono tutte contese il primo posto in termini di importanza, mentre le regole sepolte nelle descrizioni degli strumenti o delle abilità venivano spesso ignorate. Si scopre che l'IA presta attenzione alle regole del "quadro generale" più che ai dettagli minuziosi di come funziona uno strumento specifico.
In breve, questo articolo non sostiene di aver risolto il problema di creare un'IA perfetta. Invece, ci fornisce un righello migliore per misurare quanto bene l'IA ascolti davvero. Dimostra che gli attuali modelli di IA sono bravi a fare ciò che vogliono fare, ma faticano ancora quando chiediamo loro di fare qualcosa che non sceglierebbero naturalmente. Separando la "conformità fortunata" dalla "vera obbedienza", i ricercatori sperano di poter costruire test migliori per rendere i nostri assistenti IA più affidabili, non solo più efficaci nell'apparenza.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.