Nonstandard Errors in AI Agents

Lo studio rivela che gli agenti AI per la codifica producono errori non standard significativi nelle analisi empiriche a causa della variabilità nelle scelte metodologiche, sebbene l'esposizione a esempi di alta qualità possa ridurre drasticamente questa dispersione, spingendo gli agenti verso una convergenza basata sull'imitazione piuttosto che sulla comprensione.

L'essenziale

🤖 Il Grande Esperimento: Quando 150 Robot Scienziati si Scontrano

Immagina di avere un compito molto importante: devi analizzare i dati di un mercato finanziario (come quello di un fondo che replica l'indice S&P 500) per capire se il mercato sta diventando più efficiente o meno negli ultimi 10 anni.

Invece di affidare questo compito a un solo esperto umano, gli autori dello studio hanno assunto 150 "robot scienziati" (agenti di intelligenza artificiale). Tutti hanno ricevuto:

1. Gli stessi dati (lo stesso "libro di contabilità" del mercato).
2. La stessa domanda da rispondere.
3. Gli stessi strumenti per lavorare.

La domanda fondamentale era: "Se diamo lo stesso compito a 150 robot diversi, arriveranno tutti alla stessa risposta?"

La risposta, purtroppo, è un grande "NO". E questo è il cuore della scoperta.

---

🍴 L'Analogia del Ristorante: "Cosa ordiniamo?"

Per capire perché i robot hanno dato risposte diverse, immagina di essere in un ristorante con 150 amici. Tutti hanno lo stesso menu e la stessa richiesta: "Ordinate un piatto che rappresenti la qualità del cibo di questo ristorante".

• Il Robot A pensa: "La qualità si misura dalla quantità di cibo servito". Ordina 100 hamburger.
• Il Robot B pensa: "La qualità si misura dal prezzo pagato". Ordina 100 bistecche costose.
• Il Robot C pensa: "La qualità si misura dalla velocità di servizio". Ordina un'insalata veloce.

Tutti hanno seguito le istruzioni, ma hanno scelto di misurare la "qualità" in modi completamente diversi.

• Se guardi solo la quantità, il ristorante sembra ottimo (tanti hamburger!).
• Se guardi solo il prezzo, il ristorante sembra costoso e forse inefficiente.
• Se guardi la velocità, il ristorante sembra perfetto.

Il risultato? Nessuno ha torto, ma nessuno ha ragione. Le risposte sono diverse non perché uno è "stupido" e l'altro "brillante", ma perché hanno scelto metriche diverse (hamburger vs. bistecche) per misurare la stessa cosa.

Nello studio, questo si chiama Errore Non Standard (NSE). È l'incertezza che nasce non dai dati sbagliati, ma dalle scelte diverse su come analizzare i dati.

---

🎨 I Robot hanno uno "Stile" Proprio (e non cambiano)

Lo studio ha scoperto due cose affascinanti sui robot:

1. Hanno "stili" fissi:
   Immagina due famiglie di robot: i Sonnet e gli Opus.

   • I robot Sonnet sono come chef che amano le ricette classiche: usano sempre la stessa misura (es. "autocorrelazione") e non cambiano mai.
   • I robot Opus sono come chef moderni: usano sempre una misura diversa (es. "varianza") e non guardano mai quella classica.
     Anche se lavorano sullo stesso dato, i Sonnet diranno "Il mercato va bene" e gli Opus diranno "Il mercato va male", semplicemente perché hanno "gusti" diversi radicati nel loro codice.

2. Le critiche non funzionano (ma le copie sì):
   Gli autori hanno fatto un esperimento in tre fasi:

   • Fase 1: I robot lavorano da soli. Risultato: caos totale, risposte diverse.
   • Fase 2: I robot si scambiano delle critiche scritte (come una revisione tra colleghi). Risultato: Nessun cambiamento! I robot hanno letto le critiche, hanno fatto piccole modifiche, ma sono rimasti confusi e dispersi. È come se un gruppo di persone leggesse consigli diversi e ognuno decidesse di fare qualcosa di diverso a caso.
   • Fase 3: Ai robot vengono mostrati i 5 migliori lavori degli altri (i "campioni"). Risultato: Miracolo! Tutti i robot si allineano immediatamente. Se il campione ha usato gli hamburger, tutti ordinano hamburger. Se il campione ha usato le bistecche, tutti ordinano bistecche.

   La lezione: I robot non imparano ragionando sulle critiche (come farebbe un umano esperto). Imparano imitando i leader. Se vedono un modello vincente, lo copiano ciecamente.

---

🌍 Perché questo è importante per noi?

Questo studio ci dà tre lezioni fondamentali per il futuro:

1. Non fidarti di un solo robot: Se chiedi a un'intelligenza artificiale di fare un'analisi economica o politica, non dare per scontato che la sua risposta sia "la verità". Potrebbe essere solo una delle tante possibili risposte, basata su un "gusto" casuale del modello.
2. L'ambiguità è reale: Spesso, le domande che facciamo ("Il mercato è efficiente?") sono ambigue. Non esiste una sola risposta corretta, ma molte risposte valide a seconda di come scegli di misurare le cose. I robot ci hanno mostrato che questa ambiguità esiste anche quando togliamo gli umani dal processo.
3. La soluzione è la "Multiverso": Invece di chiedere a un solo robot di lavorare, dovremmo chiedere a molti robot di lavorare con metodi diversi e guardare l'insieme delle loro risposte. Se tutti dicono più o meno la stessa cosa, siamo sicuri. Se dicono cose opposte, allora il problema non è il robot, ma la domanda che abbiamo fatto: è troppo vaga e va chiarita meglio.

In sintesi

Questo studio ci dice che l'Intelligenza Artificiale non è una "macchina della verità" infallibile. È più come un gruppo di 150 artisti che devono dipingere lo stesso paesaggio: ognuno userà colori e pennellate diversi.

• Se li critichiamo, continueranno a dipingere in modo diverso.
• Se mostriamo loro un quadro famoso, tutti copieranno quello stile.

Il compito per noi umani non è cercare il "robot perfetto", ma imparare a leggere tutte le diverse versioni che i robot ci offrono, per capire dove c'è accordo e dove c'è incertezza.

Sommario tecnico

1. Il Problema di Ricerca

Il paper indaga una domanda fondamentale nell'era dell'intelligenza artificiale generativa: se diversi agenti AI, forniti degli stessi dati e della stessa domanda di ricerca, producono gli stessi risultati empirici?

Mentre la letteratura esistente ha ampiamente documentato i "gradi di libertà del ricercatore" (researcher degrees of freedom) e gli errori non standard (NSE) tra ricercatori umani (dove scelte analitiche diverse portano a conclusioni divergenti), non è chiaro se gli agenti AI, privi di bias umani idiosincratici, istituzionali o di formazione, convergano verso un'unica "migliore" soluzione o se manifestino una variabilità simile. L'obiettivo è determinare se l'incertezza derivante dalle scelte analitiche persista anche quando il giudizio umano viene rimosso dal processo.

2. Metodologia Sperimentale

Gli autori hanno replicato il design sperimentale dello studio #fincap di Menkveld et al. (2024), sostituendo i team umani con agenti AI autonomi.

• Agenti e Modelli: Sono stati deployati 150 agenti autonomi basati su Claude Code (Anthropic).
  • 100 agenti utilizzano il modello Sonnet 4.6.
  • 50 agenti utilizzano il modello Opus 4.6.
  • Gli agenti operano in container isolati (Singularity) per garantire che non possano vedere l'output degli altri, isolando la variabilità dovuta allo stocasticità del campionamento del modello linguistico.
• Dati: Dataset NYSE TAQ (trade e quote in millisecondi) per l'ETF SPY dal 2015 al 2024 (circa 66 GB, 7 miliardi di righe).
• Compito: Ogni agente deve testare indipendentemente 6 ipotesi sulla qualità del mercato (efficienza informativa, spread bid-ask, volume, volatilità, impatto dei prezzi). Per alcune ipotesi (es. "efficienza del mercato"), le istruzioni sono astratte, lasciando all'agente la scelta della metrica operativa (es. autocorrelazione vs. rapporto di varianza).
• Protocollo a Tre Stadi:
  1. S1 (Analisi Indipendente): Gli agenti producono report e stime iniziali.
  2. S2 (Peer Review AI): Gli agenti ricevono feedback scritti anonimi da altri agenti valutatori e rivedono i loro report.
  3. S3 (Esposizione ai Top Papers): Gli agenti vedono i 5 report meglio valutati e possono rivedere nuovamente le loro analisi.
• Output: Ogni agente produce codice, figure, e un report di ricerca di 2.000-4.000 parole con stime quantitative normalizzate in percentuale annua (%/yr).

3. Contributi Chiave

Il paper contribuisce a tre aree principali della letteratura:

1. Replicazione e Credibilità della Ricerca: Estende il framework degli Errori Non Standard (NSE) dal dominio umano a quello degli agenti AI.
2. Analisi Multiverso: Dimostra che i "multiversi" generati dall'AI possono essere strutturalmente più ristretti di quelli umani, ma concentrati su fork critici specifici.
3. Comportamento degli Agenti: Documenta come gli agenti AI rispondono ai meccanismi di feedback sociale (peer review vs. esposizione a esempi) e come i diversi modelli LLM sviluppino "stili empirici" stabili.

4. Risultati Principali

A. Esistenza e Struttura degli Errori Non Standard (NSE)

Gli agenti AI mostrano NSE sostanziali. La variabilità non è rumore casuale, ma strutturata:

• Fork delle Scelte di Misura: La maggior parte della dispersione deriva dalla scelta della metrica (es. volume in dollari vs. volume in azioni; autocorrelazione vs. rapporto di varianza).
  • Esempio (H4 - Volume): Gli agenti che scelgono il volume in dollari stimano una crescita del +6%/anno, mentre quelli che scelgono il volume in azioni stimano un calo del -4.6%/anno. L'IQR (Intervallo Interquartile) è di 10.69%/anno, guidato interamente da questa scelta.
• Uniformità del Paradigma di Stima: A differenza dei ricercatori umani (che usano spesso cambiamenti relativi o differenze logaritmiche), tutti gli agenti AI hanno scelto di usare una regressione OLS con trend temporale lineare. La variabilità si concentra quasi esclusivamente sulla specificazione funzionale (livello vs. log) e sulla scelta della misura, non sul paradigma di stima.
• Stili Empirici dei Modelli: I diversi modelli mostrano preferenze sistemiche stabili:
  • Sonnet 4.6: Preferisce autocorrelazione (87% per H1), regressione a livello (Level OLS) e frequenza giornaliera.
  • Opus 4.6: Preferisce universalmente il rapporto di varianza (100% per H1), regressione logaritmica (Log OLS) e frequenza mensile.

B. Effetti del Feedback

• Peer Review (S1 → S2): Ha un effetto minimo sulla riduzione della dispersione. L'IQR rimane invariato. Gli agenti modificano i loro report in risposta al feedback, ma i cambiamenti sono "non diretti" (undirected): alcuni si spostano verso la mediana, altri si allontanano, annullando l'effetto aggregato.
• Esposizione ai Top Papers (S2 → S3): Provoca una convergenza drammatica (riduzione dell'IQR dell'80-99%) per le ipotesi dove i paper migliori concordano sulla misura.
  • Meccanismo: Gli agenti imitano le scelte dei paper top-rated, spesso cambiando completamente la famiglia di misure (es. 62 su 87 agenti che usavano autocorrelazione passano al rapporto di varianza).
  • Effetto collaterale: Se i top papers introducono nuove opzioni metodologiche non risolte (es. per H1 e H5), la dispersione può aumentare o diventare multimodale.

C. Confronto con la Ricerca Umana

• Gli NSE degli AI sono concentrati quasi esclusivamente nelle scelte di misura (fork discreti), mentre gli umani mostrano anche una grande variabilità nei paradigmi di stima (es. uso di cambiamenti relativi).
• L'assenza di paradigmi "relativi" negli AI suggerisce che la loro variabilità potrebbe essere un limite inferiore (lower bound) per gli errori che si verificherebbero tra ricercatori umani, che hanno un ventaglio di scelte ancora più ampio.

5. Significato e Implicazioni

1. Affidabilità delle Stime AI: Una singola stima generata da un agente AI non deve essere considerata "verità fondamentale". La scelta della misura (spesso lasciata implicita nelle istruzioni astratte) può ribaltare completamente la conclusione (da positiva a negativa).
2. Limiti del Peer Review Automatizzato: La revisione tra pari automatizzata (critiche scritte) non è efficace nel ridurre la variabilità metodologica. Al contrario, l'esposizione a esempi di successo (imitazione) è potente ma rischia di creare una convergenza artificiale basata sull'imitazione piuttosto che sulla validità analitica.
3. Stili di Modello: Diversi modelli LLM hanno "bias metodologici" incorporati nei loro pesi. Un ricercatore che usa un modello diverso otterrà risultati sistematicamente diversi, anche con gli stessi dati.
4. Nuova Interpretazione degli NSE: Gli autori suggeriscono di non vedere gli NSE come un difetto da eliminare, ma come una misura dell'incertezza intrinseca nella domanda di ricerca. Se gli agenti AI (che condividono lo stesso corpus di addestramento) non riescono a concordare su una misura, significa che la domanda di ricerca è intrinsecamente ambigua e sottodeterminata.
5. Raccomandazione Pratica: L'uso di un "multiverso" di agenti AI (eseguendo la stessa analisi con diverse configurazioni di modello e metriche) dovrebbe diventare una pratica standard per diagnosticare l'incertezza minima di un disegno di ricerca prima di impegnare risorse umane.

In sintesi, il paper dimostra che l'AI non risolve il problema della variabilità analitica nella ricerca empirica; piuttosto, lo trasforma in una variabilità strutturata, dipendente dal modello e dalle scelte di misura, che richiede nuove forme di trasparenza e validazione.