Designing large language model prompts to extract scores from messy text: A shared dataset and challenge
Questo articolo introduce un dataset condiviso di 1.446 testi di ricerca disordinati con punteggi di qualità UK e una sfida corrispondente per progettare prompt per modelli linguistici di grandi dimensioni ottimali che estraggano accuratamente punteggi validi o identifichino valori mancanti, con l'obiettivo di superare un baseline iniziale di accuratezza del 72,6% pur facendo avanzare la comprensione del prompt engineering per compiti numerici complessi.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di essere un bibliotecario che cerca di organizzare una pila enorme di lettere. Ogni lettera è stata scritta da un robot diverso (un'IA) per descrivere quanto sia buono un articolo di ricerca. I robot avrebbero dovuto dare un punteggio semplice, come un punteggio a stelle da 1 a 4.
I robot sono scrittori disordinati. Alcune lettere iniziano con il punteggio, altre lo nascondono in mezzo a un paragrafo, altre danno tre punteggi diversi e si dimenticano di combinarli, e altre ancora divagano senza dare alcun punteggio. Peggio ancora, alcuni robot inventano persino punteggi falsi come "95%" o "4/5" quando le regole consentono solo da 1 a 4 stelle.
Il Problema
Mike Thelwall, l'autore di questo articolo, ha raccolto 1.446 di queste lettere disordinate. La chiama un "dataset condiviso". Il suo obiettivo è sfidare altri ricercatori a costruire un "manuale di istruzioni magico" (chiamato prompt) per un nuovo robot più intelligente.
Il compito di questo nuovo robot è leggere le lettere disordinate ed estrarre il numero corretto. Ma deve seguire due regole ferree:
- Essere un Detective: Deve capire il punteggio giusto anche se la lettera è confusa. Se la lettera menziona "Originalità", "Significatività" e "Rigore" separatamente, il robot deve sapere di doverne fare la media. Se la lettera non ha un punteggio, deve dire "-1" (che significa "Non lo so").
- Essere un Robot, non un Chiacchierone: Il robot deve solo sputare fuori il numero (come "3*" o "-1"). Non può dire: "Penso che il punteggio sia 3 perché...". Se aggiunge altre parole, la risposta è sbagliata.
La Sfida
Pensa a questo come a un gioco di "Simon Says" giocato con un robot molto letterale ma leggermente confuso.
- Il Punteggio Attuale: L'autore ha provato un semplice manuale di istruzioni e il robot ha indovinato circa il 73% delle volte.
- L'Obiettivo: La sfida è che chiunque progetti un manuale di istruzioni migliore che ottenga un punteggio più alto.
Perché Farlo?
L'articolo non riguarda l'uso di questo metodo per valutare veri saggi di studenti o correggere diagnosi mediche in questo momento. Inveve, è un esercizio di addestramento. Costringendo i ricercatori a capire come far estrarre ai robot numeri specifici da testi disordinati, impariamo:
- Come parlare ai robot affinché ascoltino meglio (Prompt Design).
- Dove i robot si confondono e come correggere quelle istruzioni.
- Come gestire le situazioni in cui il robot è incerto (sapere quando dire "-1" invece di tirare a indovinare).
In Breve
Questo articolo è un invito a un concorso. Dice: "Ecco una pila di note disordinate di robot e un elenco delle risposte corrette. Riesci a scrivere il set perfetto di istruzioni per far sì che un robot legga queste note e ti dia esattamente il numero giusto, ogni singola volta?" Il vincitore è colui che riesce a ottenere la percentuale più alta di risposte corrette.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.