What You Prompt is What You Get: Increasing Transparency of Prompting Using Prompt Cards

1. Il Problema

Il rapido avanzamento dei Modelli Linguistici su Grande Scala (LLM) ha dato origine al campo dell'ingegneria dei prompt (prompt engineering), la pratica di progettare input per guidare i modelli verso output di alta qualità. Tuttavia, il settore affronta sfide critiche:

• Mancanza di standardizzazione: Non esistono pratiche standardizzate per la documentazione e la valutazione dei prompt. Questi possono essere lunghi, complessi e difficili da valutare, specialmente in compiti soggettivi.
• Problemi di riproducibilità: La riproducibilità nei sistemi di intelligenza artificiale è compromessa da fattori come l'accesso ai dati, la documentazione metodologica incompleta, le variazioni nell'ambiente computazionale e la natura stocastica dei modelli generativi.
• Sensibilità dei prompt: Il comportamento degli LLM è altamente sensibile alla formulazione, all'ordine e alla struttura contestuale del prompt. Piccole variazioni possono portare a output drasticamente diversi, rendendo difficile la replicazione dei risultati.
• Limiti del Benchmarking: I benchmark tradizionali sono spesso inadeguati per compiti specifici di ingegneria dei prompt. Modifiche minori ai prompt di benchmark possono alterare i risultati in modo drastico, e molti compiti reali non si prestano a test standardizzati. Inoltre, esiste il rischio di contaminazione dei dati di benchmark (quando i dati di test sono presenti nei dati di addestramento).
• Rischi etici e di sicurezza: Bias, allucinazioni (fatti inventati), fughe di dati sensibili e mancanza di trasparenza nelle decisioni di progettazione influenzano negativamente l'affidabilità e l'equità dei sistemi.

2. Metodologia: Le "Prompt Cards"

Gli autori propongono l'adozione delle Prompt Cards, un framework di documentazione strutturata ispirato alle "Model Cards" (introdotte da Mitchell et al. nel 2019), ma adattato specificamente per l'ingegneria dei prompt.

La metodologia si basa sulla creazione di schede che documentano sistematicamente ogni aspetto del processo di ingegneria dei prompt. Le sezioni chiave di una Prompt Card includono:

• Dettagli del Modello e Uso Previsto: Specifica la versione esatta dell'LLM, la licenza, gli algoritmi e gli scopi specifici del prompt (es. educativo vs. professionale), evidenziando i limiti.
• Dataset: Documentazione dettagliata dei dati utilizzati nel prompt, inclusi origine, dimensioni, bias intrinseci e modalità di costruzione.
• Contesto: Descrizione di tutti gli input contestuali (prompt di sistema, esempi few-shot, coppie Q&A, dati estratti tramite RAG) che arricchiscono il prompt. Questo include la provenienza delle informazioni e le strategie di normalizzazione dei dati.
• Architettura del Prompt: Uno schema visivo o testuale che scompone la struttura del prompt, delineando i componenti, i loro ruoli e come sono assemblati (es. "Dì chi è", "Dì cosa sa", "Dì quali dati usare", "Dì come rispondere").
• Fattori: Analisi dei fattori che influenzano i risultati, come la demografia dei dati o le limitazioni geografiche, per evidenziare potenziali bias.
• Metriche e Analisi Quantitativa: A differenza delle Model Card, le Prompt Cards non si basano su metriche standardizzate di addestramento. Utilizzano invece analisi mirate (es. "LLM-as-a-judge") per testare ipotesi specifiche, come la fedeltà nel trasmettere i dati originali o l'accuratezza nella ricostruzione delle informazioni.
• Sicurezza dei Dati: Valutazione dei rischi legati alla privacy, indicando se il prompt richiede accesso a internet, se è adattabile per ambienti offline e come vengono gestiti i dati sensibili (es. anonimizzazione o sintesi dei dati prima dell'invio).
• Considerazioni Etiche: Esposizione esplicita di bias, rischi di discriminazione, limitazioni culturali (es. validità universale dei test di personalità) e implicazioni sociali.
• Caveats e Raccomandazioni: Guida pratica su limiti noti, condizioni di fallimento e best practices per un uso responsabile.

3. Contributi Chiave

• Adattamento delle Model Cards: Trasformazione del concetto di "Model Card" in "Prompt Card", spostando il focus dalla documentazione del modello addestrato alla documentazione del processo di prompting.
• Framework Strutturato: Definizione di una tassonomia completa di sezioni (come mostrato nella Tabella 1 del paper) che copre aspetti tecnici, etici e di sicurezza specifici per i prompt.
• Caso di Studio "Wordalisation": Applicazione pratica del framework a un compito chiamato "wordalisation" (trasformazione di dati numerici strutturati in testo narrativo). Gli autori hanno documentato tre applicazioni:
  1. Scout di calcio: Conversione di statistiche di giocatori in profili testuali.
  2. World Value Survey: Trasformazione di dati demografici e sociali in descrizioni testuali.
  3. Test di personalità: Generazione di profili basati sul modello dei "Big Five".
• Spostamento del Paradigma di Valutazione: Argomentazione a favore del passaggio dai benchmark puri alla documentazione trasparente come metodo principale per valutare la qualità e l'affidabilità dei prompt in contesti reali.

4. Risultati e Validazione

Attraverso l'applicazione delle Prompt Cards ai casi di studio, gli autori hanno dimostrato che:

• Miglioramento della Riproducibilità: Documentando versioni esatte del modello, dataset, contesto e architettura, è possibile replicare i risultati con maggiore precisione.
• Valutazione della Fedeltà: Nel caso del World Value Survey, è stata utilizzata un'analisi quantitativa (LLM-as-a-judge) per verificare se il testo generato ("wordalisation") ricostruiva accuratamente i dati originali. I risultati hanno mostrato come la presenza di dati sintetici nel prompt migliorasse significativamente l'accuratezza rispetto all'assenza di tali dati.
• Identificazione dei Bias: Le sezioni etiche e dei fattori hanno permesso di evidenziare criticità, come la limitazione del dataset di calcio ai soli atleti maschi o i bias culturali nei test di personalità, rendendo questi limiti espliciti per l'utente finale.
• Sicurezza: L'approccio ha permesso di identificare e mitigare rischi di privacy, ad esempio trasformando i punteggi grezzi dei test di personalità in descrizioni sintetiche prima di inviarle all'LLM.

5. Significato e Impatto

Il paper offre un contributo fondamentale per l'evoluzione dell'ingegneria dei prompt e dell'AI responsabile:

• Trasparenza e Accountability: Le Prompt Cards rendono espliciti i processi decisionali spesso impliciti che guidano il comportamento dei sistemi, facilitando l'audit e la comprensione da parte di utenti e regolatori.
• Alternativa ai Benchmark: Propone una visione in cui la documentazione dettagliata sostituisce o integra i benchmark rigidi, riconoscendo che molti compiti di generazione del testo sono troppo complessi e contestuali per essere ridotti a semplici punteggi numerici.
• Conformità Normativa: In un contesto di crescente regolamentazione (es. AI Act dell'UE), le Prompt Cards fungono da strumento essenziale per soddisfare i requisiti di trasparenza, gestione del rischio e auditabilità richiesti dalle nuove leggi.
• Educazione e Pratica Responsabile: Fornisce agli sviluppatori e agli utenti uno strumento per comprendere i limiti, i rischi e le appropriate modalità di utilizzo dei sistemi basati su prompt, riducendo il rischio di applicazioni errate o dannose.

In sintesi, il paper sostiene che "ciò che si prompta è ciò che si ottiene" (What You Prompt Is What You Get) e che la documentazione rigorosa tramite Prompt Cards è la chiave per rendere questa relazione trasparente, riproducibile ed eticamente solida.