🤖 AI

Artificial Effort

Questo articolo dimostra che la maggior parte dei compiti reali canonici utilizzati nell'economia sperimentale può ora essere risolta con accuratezza e a basso costo da vari modelli linguistici di grandi dimensioni, minando così la validità di tali compiti in contesti non supervisionati in cui i partecipanti potrebbero esternalizzare il lavoro all'intelligenza artificiale.

Autori originali: Federico Belotti, Stefano Coniglio, Antonio Cosma, Francesco Fallucchi

Pubblicato 2026-05-26

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Federico Belotti, Stefano Coniglio, Antonio Cosma, Francesco Fallucchi

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un insegnante che assegna alla classe una serie di enigmi da risolvere. Vuoi sapere quanto gli studenti stanno impegnandosi, quindi assegni loro compiti che richiedono un vero sforzo mentale, come contare oggetti specifici in un'immagine disordinata o risolvere un problema matematico. Questo è chiamato "compito di sforzo reale". L'intero sistema si basa su un'assunzione fondamentale: un essere umano sta effettivamente svolgendo il lavoro.

Questo articolo pone una domanda inquietante per i ricercatori: E se gli studenti non fossero affatto umani? E se fossero robot AI?

Ecco la storia di ciò che i ricercatori hanno scoperto, spiegata in modo semplice:

1. Il test dello "Studente Robot"

I ricercatori hanno preso 8 enigmi classici utilizzati negli esperimenti economici (come sommare numeri, contare gli zeri in una griglia o risolvere un mini Sudoku) e li hanno affidati a 23 diversi modelli AI (i "cervelli" dietro strumenti come ChatGPT, Gemini e Claude). Hanno trattato l'AI come uno studente che sostiene un esame.

Il Risultato: L'AI non si è limitata a superare il test; ha eccellentemente nella maggior parte dei test facili.

Le Cose Facili: Per compiti come sommare tre numeri o decifrare un semplice codice di lettere, l'AI ha ottenuto quasi il 100% di correttezza. Era come dare un test di matematica a una calcolatrice; funzionava semplicemente alla perfezione.
Le Cose Difficili: L'AI ha faticato con compiti che richiedono di "contare" molte piccole cose (come contare gli zeri in una griglia enorme) o individuare schemi in immagini disordinate e distorte. È come se l'AI fosse eccellente nella logica, ma a volte si confonda quando deve contare ogni singolo granello di sabbia su una spiaggia.

2. La Regola "Più Nuovo è Meglio"

I ricercatori hanno testato modelli AI più vecchi e più recenti.

La Tendenza: Ogni volta che un'azienda rilasciava una versione più recente della propria AI, questa diventava più intelligente.
La Sorpresa: I modelli "di fascia media" (quelli più economici e comuni) stavano recuperando molto rapidamente sui modelli top di gamma, estremamente costosi. È come se un marchio di auto economiche improvvisamente producesse veicoli che guidano quasi tanto bene quanto una sportiva di lusso. Questo significa che non serve l'AI più costosa per barare in questi test; una più economica funziona perfettamente.

3. Il Problema della "Moneta Spicciola"

Ecco la parte più importante per i ricercatori. In questi esperimenti, gli umani vengono pagati una piccola somma di denaro (una "tariffa a pezzo") per ogni enigma risolto.

Il Costo: I ricercatori hanno calcolato quanto costa pagare un'AI per risolvere questi enigmi.
La Matematica: Costa una frazione di centesimo lasciare che un'AI svolga il lavoro. Anche i modelli AI più costosi costano meno di 25 centesimi per risolvere un'intera serie di enigmi.
La Conclusione: Se una persona che cerca di guadagnare online potesse assumere un'AI per svolgere il lavoro, realizzerebbe un enorme profitto. L'AI non è solo più veloce e più accurata, ma è anche più economica di un essere umano. È come assumere un robot per tagliare l'erba del tuo giardino per 0,05 dollari invece di pagare un vicino 20 dollari.

4. Il "Bustarella" che Non Ha Funzionato

Negli esperimenti con umani, i ricercatori spesso dicono: "Se rispondi correttamente a questo, ricevi un bonus!". Gli umani solitamente lavorano di più quando sentono parlare del bonus.

Il Test: I ricercatori hanno detto all'AI: "Sei un partecipante umano" e "Riceverai 0,50 dollari per ogni risposta corretta".
Il Risultato: All'AI non importava nulla. Le sue prestazioni non sono cambiate affatto.
Perché? Un'AI non ha un "umore" o un desiderio di denaro. Si limita a elaborare la richiesta. Dirle di "provare di più" o di "essere umana" è come dire a una calcolatrice di "somma più velocemente" promettendole un biscotto. Semplicemente non funziona.

La Grande Lezione

Il documento conclude che il vecchio modo di testare lo sforzo umano è rotto nell'era dell'AI.

Se conduci un esperimento online in cui le persone possono utilizzare telefoni o computer senza supervisione, non puoi più essere sicuro che la persona che risolve l'enigma sia effettivamente un umano. Potrebbe semplicemente utilizzare un'AI economica per svolgere il lavoro al posto suo.

Gli autori suggeriscono tre modi per individuare gli "Studenti Robot":

Scegli enigmi più difficili: Utilizza compiti che richiedono il conteggio visivo o il riconoscimento di immagini disordinate, ambiti in cui le AI sono ancora carenti.
Osserva la motivazione: Se le prestazioni di un partecipante non cambiano quando offri un bonus, potrebbe trattarsi di un robot (poiché gli umani solitamente tengono ai bonus).
Osserva la fatica: Gli umani si stancano o imparano man mano che procedono; i robot mantengono esattamente lo stesso livello di prestazioni dalla prima domanda all'ultima.

In sintesi: Il "Sforzo Reale" in questi esperimenti potrebbe ora essere "Sforzo Artificiale", e costa quasi nulla.

Riepilogo Tecnico: Sforzo Artificiale

Enunciato del Problema

I compiti basati sullo sforzo reale costituiscono uno strumento metodologico fondamentale nell'economia sperimentale, progettato per misurare lo sforzo umano, le prestazioni, la fatica e la reattività agli incentivi richiedendo ai partecipanti di svolgere attività cognitivamente costose. La validità di tali compiti poggia su un'assunzione critica, spesso implicita: che l'agente che completa il compito sia umano.

Con la rapida diffusione dei Modelli Linguistici di Grande Dimensione (LLM) e la loro crescente capacità nel ragionamento multimodale, tale assunzione è sempre più precaria, specialmente in ambienti online non supervisionati (ad esempio, mercati del lavoro online, esperimenti basati sul web). Se gli LLM possono risolvere compiti canonici basati sullo sforzo reale con elevata accuratezza a un costo marginale trascurabile, tali compiti potrebbero cessare di funzionare come misure dello sforzo umano. Al contrario, potrebbero involontariamente misurare l'accesso a modelli AI capaci, compromettendo la validità costruttiva e potenzialmente abilitando un "task-milling" (esecuzione di compiti a scopo di lucro) malevolo. Sebbene la letteratura precedente abbia esplorato l'AI nella generazione di sondaggi, manca una prova diretta riguardo alla capacità degli LLM all'avanguardia di risolvere efficacemente i specifici compiti basati sullo sforzo reale utilizzati routinariamente dagli economisti.

Metodologia

Gli autori hanno condotto un benchmark completo valutando la capacità di 23 LLM all'avanguardia provenienti da tre principali fornitori (OpenAI, Google e Anthropic) di risolvere otto compiti canonici basati sullo sforzo reale.

Compiti:
Lo studio ha utilizzato otto compiti disponibili nel repository Otree, coprendo uno spettro di richieste percettive, aritmetiche e di ragionamento:

Addizione: Somma di tre interi.
Conteggio degli Zeri: Conteggio degli zeri in una tabella binaria 15×10.
Decodifica delle Lettere: Decodifica di una stringa utilizzando una tabella di mappatura lettera-cifra.
Somma di Coppie di Numeri: Identificazione di una coppia di numeri in una griglia 4×4 che sommati diano 10,0.
Completamento di Sequenze: Previsione dell'elemento successivo in una sequenza matematica.
Sudoku: Risoluzione di una griglia 6×6 parzialmente compilata.
Testo Distorto: Trascrizione di una stringa alfanumerica di 12 caratteri da un'immagine distorta.
Inserimento di Stringhe: Riproduzione di una stringa di 9 caratteri speciali da un'immagine.

Setup Sperimentale:

Modelli: 23 modelli che spaziano dalle categorie leggere (ad esempio, Haiku, Flash Lite, Nano) a quelle all'avanguardia (ad esempio, Opus, Pro, GPT-5.4). Tutti i modelli supportano input multimodali.
Procedura: I compiti sono stati resi come pagine HTML con immagini. Gli input sono stati inviati tramite l'API OpenRouter. Ogni modello ha eseguito 20 esecuzioni indipendenti per compito.
Punteggio: Le risposte sono state considerate corrette solo se corrispondevano esattamente alla verità fondamentale; non è stato assegnato alcun punteggio parziale.
Trattamenti: Un disegno 2×2 ha testato la sensibilità degli LLM agli incentivi verbali e alla cornice della persona:
- T0 (Controllo): Prompt neutrale.
- T1: Persona standard, nessun incentivo monetario.
- T2: Persona standard, incentivo monetario verbale (0,50 $ per risposta corretta).
- T3: Persona umana, nessun incentivo monetario.
- T4: Persona umana, incentivo monetario verbale.
Analisi dei Costi: Lo studio ha calcolato il costo totale dell'API per compito basato sull'utilizzo di token in input/output e sui prezzi dei fornitori, confrontandolo con le tariffe orarie tipiche degli esperimenti online (0,25 $ per risposta corretta).

Contributi e Risultati Chiave

1. Difficoltà del Compito e Suscettibilità all'Automazione

Le prestazioni variano significativamente in base al tipo di compito.

Altamente Automatizzabili: I compiti che coinvolgono input piccoli e strutturati e operazioni elementari (Addizione, Somma di Coppie di Numeri, Decodifica delle Lettere, Completamento di Sequenze) sono risolti con un'accuratezza quasi perfetta (90–100%) dalla maggior parte dei modelli.
Compiti Resistenti: I compiti che richiedono ricerca visiva complessa, enumerazione o ragionamento combinatorio (Sudoku, Conteggio degli Zeri, Inserimento di Stringhe) rimangono impegnativi, con accuratezze che vanno dal 25% al 37% anche per i modelli di fascia alta.
Intermedi: La Trascrizione di Testo Distorto si colloca a metà (77,4%), limitata dal rumore percettivo piuttosto che dal puro ragionamento.

2. Prestazioni dei Modelli ed Evoluzione

Fascia vs Fornitore: Le prestazioni sono determinate principalmente dalla fascia del modello (ad esempio, Opus/Pro vs Sonnet/Flash) piuttosto che dal fornitore. I modelli di fascia alta raggiungono un'accuratezza media superiore all'80%, mentre i modelli di fascia media raggiungono circa il 60%.
Miglioramento Rapido: Le nuove release superano costantemente i predecessori all'interno della stessa fascia. I guadagni più significativi sono osservati nelle fasce di medio livello, suggerendo che l'insieme dei modelli capaci di automatizzare questi compiti si sta espandendo rapidamente e diventando più accessibile.
Selezione Strategica (Cherry-Picking): Un agente strategico che seleziona il modello con le migliori prestazioni per ogni compito specifico potrebbe raggiungere un'accuratezza media del 93,1%, significativamente superiore all'uso di un singolo modello (82,5%). Ciò implica che anche i compiti "resistenti" possono essere risolti ad alti tassi se l'agente possiede la conoscenza per selezionare lo strumento ottimale.

3. Fattibilità Economica della Sostituzione

La sostituzione dello sforzo umano con gli LLM è economicamente dominante.

Efficienza dei Costi: Anche i modelli più costosi testati costano meno di 0,40 $ per compito (20 esecuzioni). I modelli più economici costano meno di 0,05 $.
Guadagno Netto: A una tariffa oraria conservativa di 0,25 $ per risposta corretta, ogni modello testato genera un guadagno netto positivo (che va da circa 2,66 $a 3,92$ per compito).
Conclusione: Sostituire i partecipanti umani con gli LLM non è solo fattibile, ma altamente redditizio per un agente orientato al profitto.

4. Insensibilità agli Incentivi e alla Persona

Nessun Effetto: Le offerte verbali di incentivi monetari o le istruzioni a "comportarsi come un umano" non hanno avuto alcun effetto statisticamente significativo sulle prestazioni degli LLM.
Meccanismo: A differenza degli umani, gli LLM non hanno un "margine di sforzo" da aggiustare in base ai rendimenti marginali. Il loro processo computazionale è fissato dall'architettura e dal prompt; il testo del prompt non altera la procedura di inferenza sottostante.
Potenziale Diagnostico: L'assenza di effetti di apprendimento, fatica o reattività agli incentivi negli LLM fornisce un potenziale strumento diagnostico. Un profilo di accuratezza piatto su prove ripetute, combinato con una varianza stabile, può segnalare un completamento automatizzato piuttosto che umano.

Significato e Raccomandazioni

Il documento stabilisce una condizione limite per l'uso di compiti basati sullo sforzo reale in contesti non supervisionati: quando i partecipanti possono esternalizzare a basso costo il completamento del compito a un LLM, le prestazioni osservate potrebbero non riflettere più uno sforzo umano genuino. Gli autori sostengono che la validità costruttiva di tali compiti è compromessa nell'era dell'AI.

Sulla base di questi risultati, gli autori offrono tre raccomandazioni pratiche per i ricercatori:

Selezione del Compito: Preferire compiti che richiedono abilità percettive (ad esempio, contare gli zeri, inserire stringhe) rispetto a quelli puramente computazionali (ad esempio, addizione) quando l'autenticità del partecipante è una preoccupazione, poiché gli LLM attuali faticano di più con i primi.
Screening degli Incentivi: Utilizzare il linguaggio degli incentivi come strumento di screening chiedendo ai partecipanti di svolgere compiti simili con e senza incentivi monetari; comportamenti divergenti possono aiutare a distinguere gli umani dagli LLM.
Monitoraggio Dinamico: Monitorare le dinamiche all'interno della sessione, poiché l'assenza di modelli umani caratteristici di apprendimento e fatica può aiutare a identificare risposte automatizzate.

Lo studio conclude che, man mano che gli LLM continuano a migliorare, in particolare nei modelli di fascia media, l'insieme dei compiti basati sullo sforzo reale vulnerabili all'automazione probabilmente si espanderà, rendendo necessaria una rivalutazione di come lo sforzo viene misurato nell'economia sperimentale.