Prompts in the Wild: A Large Analyzed Collection of Transactional Prompts in Code
Questo articolo introduce un'ontologia strutturata per analizzare una vasta collezione di 57.500 prompt transazionali unici da GitHub, trasformandoli in oggetti linguistici riccamente strutturati per rivelare diversi modelli di utilizzo attraverso linguaggi e domini, validando al contempo la qualità dell'annotazione attraverso un'analisi degli errori completa.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di cercare di insegnare a un robot super intelligente come fare un lavoro specifico, come scrivere una poesia o correggere un bug in un programma informatico. Non gli fornisci un codice di programmazione formale; invece, scrivi per lui un insieme di istruzioni in inglese semplice. Questo insieme di istruzioni è chiamato prompt. Pensa al prompt come a una scheda della ricetta per uno chef. Se la ricetta è vaga ("prepara qualcosa di gustoso"), lo chef potrebbe sbagliare interpretazione. Ma se la ricetta è dettagliata ("trita due cipolle, fai soffriggere per cinque minuti, aggiungi sale"), lo chef sa esattamente cosa fare. Per molto tempo, gli scienziati hanno studiato il "cuoco" (il modello AI) in modo molto dettagliato, cercando di renderlo più intelligente. Ma non hanno prestato molta attenzione alle "schede delle ricette" (i prompt), trattandoli come note disordinate e informali piuttosto che come qualcosa degno di essere studiato seriamente. Questo articolo sostiene che questi prompt sono in realtà un nuovo tipo di "linguaggio" che gli esseri umani usano per programmare l'IA, e meritano di essere analizzati proprio come qualsiasi altro linguaggio o codice.
I ricercatori dietro questo studio hanno deciso di trattare i prompt come oggetti scientifici. Sono andati a scavare nei repository di codice pubblico su GitHub, che è come una gigantesca biblioteca dove gli sviluppatori di software condividono il proprio lavoro. Cercavano un tipo specifico di prompt chiamato prompt transazionale. Per capire la differenza, immagina una conversazione informale con un amico in cui chiedi: "Che tempo fa?" e lui risponde. Questo è un prompt "interattivo". Un prompt transazionale è diverso; è come un'istruzione pre-scritta attaccata a una macchina che viene eseguita automaticamente ogni volta che viene premuto un pulsante. È progettato per essere ripetuto, robusto e parte di un sistema software più ampio. Il team ha raccolto 57.500 di questi prompt unici del mondo reale per vedere come appaiono, come sono strutturati e cosa le persone stanno effettivamente chiedendo all'IA di fare.
Per dare un senso a questa enorme massa di testo, gli autori hanno costruito una speciale "mappa" o ontologia. Immagina di cercare di organizzare una soffitta disordinata piena di oggetti casuali. Senza un sistema, è solo caos. L'ontologia è come un insieme di scatole e cartellini etichettati che permette loro di classificare i prompt in categorie: In quale lingua è scritto? Qual è il compito? È richiesto un formato specifico? Il prompt sta dicendo all'IA cosa non fare? Trasformando il testo non strutturato in questi ricchi punti dati strutturati, hanno potuto iniziare a porre domande serie.
Cosa hanno scoperto? In primo luogo, i dati mostrano una grande varietà, ma seguono un modello noto come distribuzione di tipo Zipf. Pensa a questo come alla popolazione di una città: alcune grandi città (come l'inglese) hanno milioni di abitanti, mentre migliaia di piccoli villaggi (altre lingue) ne hanno pochissimi. Nel mondo dei prompt, l'inglese è la città gigante, che costituisce circa l'84,66% dei prompt. Tuttavia, ci sono ancora 62 lingue diverse rappresentate, e anche in questi prompt in inglese, le persone menzionano costantemente altre lingue (come chiedere all'IA di "tradurre in spagnolo"), mostrando uno strato nascosto di diversità linguistica.
Lo studio ha anche rivelato che questi prompt sono sorprendentemente complessi. Non sono solo semplici frasi. In media, ogni prompt contiene circa 6,85 distinti "blocchi di istruzioni". Questi blocchi sono come i passaggi di una ricetta. I passaggi più comuni sono cose come "ecco il contesto", "non rendere la risposta troppo lunga" o "esporta il risultato come un file JSON". Interessante è che circa il 31% dei prompt contiene "istruzioni negative" — dire all'IA cosa non fare, come "non allucinare" o "non usare testo extra". Ciò suggerisce che gli sviluppatori cercano costantemente di arginare la tendenza dell'IA a essere troppo chiacchierona o a inventare cose.
I ricercatori hanno anche esaminato come le persone strutturano questi prompt. Hanno scoperto che la configurazione più comune è una conversazione in due parti: un messaggio di "Sistema" (che stabilisce le regole, come "Sei un assistente utile") e un messaggio dell' "Utente" (che fornisce il compito specifico). Questo duo "Sistema-Utente" è diventato l'unità standard per i prompt transazionali, apparendo nel 64% dei casi. Sembra che gli sviluppatori vedano il ruolo del Sistema come uno strato di configurazione statica e il ruolo dell'Utente come l'input dinamico, piuttosto che usare l'IA per complessi giochi di ruolo a più turni all'interno di un singolo script.
In termini di ciò che le persone stanno effettivamente facendo, i compiti NLP (Natural Language Processing, come riassumere testi o rispondere a domande) sono i più popolari, con i primi quattro compiti che coprono quasi la metà di tutti i dati. Tuttavia, la "coda lunga" dei dati mostra che le persone usano l'IA per un sacco di cose strane e meravigliose, dalla strategia di gioco alla generazione di politiche. I dati suggeriscono anche che la maggior parte di questi prompt è "ancorata" (grounded), il che significa che si basa su un contesto specifico fornito nel prompt (come un documento o un frammento di codice) piuttosto che solo sulla memoria interna dell'IA. Circa l'89,25% dei casi utilizza questo tipo di ancoraggio.
Gli autori sottolineano con cautela che le loro scoperte provengono da una fetta specifica di internet (progetti pubblici GitHub che utilizzano specifiche librerie Python), quindi potrebbero non rappresentare ogni singolo prompt esistente. Hanno anche usato l'IA per aiutare a etichettare e analizzare i dati, il che significa che ci sono stati degli errori, sebbene abbiano controllato la qualità e trovato l'accuratezza essere piuttosto alta per la maggior parte delle categorie (spesso superiore al 90%).
In definitiva, questo articolo non ci fornisce solo un elenco di prompt; ci fornisce un toolkit. Gli autori hanno rilasciato il dataset e un sito web speciale dove chiunque può navigare, cercare ed esplorare questi prompt attraverso le loro caratteristiche. Sperano che questo aiuti scienziati, ingegneri e linguisti a capire come gli esseri umani interagiscono realmente con l'IA. Trattando i prompt come oggetti scientifici di prima classe, possiamo iniziare a vedere i modelli, le "norme non scritte" e i modi creativi con cui le persone stanno plasmando il comportamento di queste potenti macchine. È un passo verso la comprensione del nuovo linguaggio che stiamo inventando per parlare con i nostri partner digitali.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.