DUET: Dual-Teacher On-Policy Distillation via Same-Weight Disagreement for Prohibition Compliance
Il documento propone DUET, un metodo di distillazione on-policy basato sulla selezione dei token che sfrutta il disaccordo per token tra due insegnanti con pesi identici (uno con e uno senza contesto di proibizione) per generare un segnale di supervisione pulito per addestrare i modelli a rispettare proibizioni dinamiche e specifiche per la richiesta, preservando al contempo l'utilità generale.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
I modelli linguistici di grandi dimensioni sono i motori che alimentano molti assistenti digitali moderni, capaci di generare testi simili a quelli umani, risolvere problemi e rispondere a domande. Tuttavia, nel mondo reale, questi modelli operano spesso sotto regole rigide e variabili che non sono codificate nel loro cervello, ma vengono invece iniettate nelle loro istruzioni al momento dell'uso. Un'azienda potrebbe dire a un modello di non rivelare mai i propri strumenti interni, mentre un ospedale potrebbe esigere che non menzioni mai i nomi dei pazienti. Queste regole cambiano a seconda di chi pone la domanda e di quale sia la situazione. La sfida per gli sviluppatori è insegnare al modello a obbedire a queste proibizioni specifiche e temporanee senza renderlo così cauto da rifiutare domande innocue, o così sicuro di sé da rompere accidentalmente le regole. Se un modello non riesce a seguire queste istruzioni, può portare alla fuga di dati o a incidenti sulla sicurezza del marchio; se diventa troppo timoroso di parlare, diventa inutile.
I ricercatori di Tencent hanno sviluppato un nuovo metodo chiamato DUET per risolvere questo specifico problema di insegnare ai modelli a seguire le regole di runtime. Invece di cercare di riaddestrare il modello da zero o semplicemente mostrargli esempi di risposte buone e cattive, hanno creato un sistema che agisce come una coppia di gemelli identici. Un gemello vede la regola proibita nelle sue istruzioni, mentre l'altro gemello, che ha esattamente la stessa conoscenza e capacità, non vede la regola. Poiché questi due "insegnanti" sono altrimenti identici, qualsiasi differenza in ciò che dicono deve essere causata esclusivamente dalla presenza o dall'assenza di quella specifica regola. I ricercatori utilizzano questo disaccordo per individuare esattamente dove il modello è probabile che commetta un errore.
Il processo funziona facendo generare una risposta al modello studente mentre entrambi i gemelli insegnanti osservano. Quando i due insegnanti concordano su quale debba essere la parola successiva, il sistema ignora quella parte della conversazione, assumendo che sia sicura e non importante. Tuttavia, quando gli insegnanti sono in disaccordo — uno suggerisce una parola che rivela un segreto e l'altro una alternativa sicura — il sistema segnala quel momento specifico come un'opportunità di apprendimento critica. Ciò consente al modello studente di concentrare la sua attenzione solo sulle poche parole in cui la regola è effettivamente rilevante, piuttosto che sprecare sforzi su migliaia di parole che sono perfettamente in ordine. Lo studente viene quindi gentilmente allontanato dall'insegnante che ignora la regola e attirato verso l'insegnante che la rispetta, imparando efficacementamente a navigare tra l'utilità e la conformità.
Questo approccio affronta un difetto dei metodi precedenti in cui i modelli venivano addestrati su intere conversazioni. In quei sistemi più vecchi, se un modello commetteva un singolo errore in una lunga risposta, l'intera risposta veniva spesso trattata come cattiva, il che confondeva il modello su quali parole specifiche fossero il problema. Isolando il disaccordo all'esatto token, o unità di parola, in cui avviene la violazione, il nuovo metodo fornisce un segnale molto più pulito. I ricercatori hanno testato questo metodo su una varietà di compiti, tra cui la protezione delle informazioni personali, il rispetto delle linee guida sulla sicurezza e l'adesione alle definizioni degli strumenti aziendali. Hanno scoperto che i modelli addestrati con questo metodo a doppio insegnante erano significativamente più bravi a rifiutare di infrangere le regole pur rimanendo utili per le domande legittime.
I risultati hanno mostrato che il nuovo metodo ha superato le tecniche esistenti in diverse dimensioni di modelli, dai più piccoli con 1,5 miliardi di parametri a quelli più grandi con 8 miliardi. Nei loro test, i modelli hanno raggiunto un tasso di conformità superiore al 72% e all'85% sulle richieste violanti, il che significa che hanno rifiutato con successo di infrangere le regole, pur mantenendo un alto livello di utilità per le domande normali, preservando tra l'88% e il 93% della loro capacità di rispondere correttamente. Fondamentalmente, i modelli non hanno perso la loro intelligenza generale; sono rimasti altrettanto bravi nei puzzle di matematica e logica come prima. Lo studio suggerisce che utilizzando due modelli identici per trovare l'esatto punto in cui una regola conta, gli sviluppatori possono creare assistenti IA che siano sia sicuri che utili, navigando tra istruzioni complesse e mutevoli senza la necessità di enormi quantità di nuovi dati o perdendo le loro capacità fondamentali.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.