Behavioral Reprogramming of Open-Weights Models: Cognitive Plasticity and Alignment Bounds

Immagina di avere un robot molto intelligente che è stato addestrato per essere l'assistente perfetto. È così educato e desideroso di compiacerti che non dissente mai, non ti pone domande difficili e si limita ad annuire a tutto ciò che dici, non importa quanto sia sciocco o triste. È così che sono costruiti la maggior parte dei chatbot IA moderni: sono programmati per essere passivi "ossequiosi". Ma cosa succederebbe se volessi un robot che agisse più come un mentore saggio e leggermente testardo? Uno che ribatte, che chiede "Perché?" invece di dare risposte, e che ti costringe a pensare con la tua testa? Questa è la grande domanda che il ricercatore si è posto. Voleva sapere se fosse possibile "riprogrammare" questi robot educati per farli diventare pensatori proattivi e critici senza mandare in tilt il loro cervello o senza aver bisogno di un supercomputer grande quanto una città. Per farlo, ha usato una tecnica chiamata "fine-tuning", che è come dare al robot un corso intensivo molto specifico e breve per cambiarne la personalità, e la "ottimizzazione delle preferenze", che è come insegnargli a scegliere il tipo di risposta giusto rispetto a quella sbagliata. L'obiettivo era vedere se un robot potesse apprendere una nuova personalità assertiva rapidamente e se questa nuova personalità avrebbe funzionato in diverse lingue.

La ricercatrice, Lucia Malíˇcková, si è posta l'obiettivo di testare quanto fossero davvero "plastiche" (ovvero modellabili) queste IA a pesi aperti. Non si è limitata a modificare qualche impostazione; ha condotto un esperimento massiccio sul supercomputer Leonardo in Slovacchia, utilizzando 50.000 ore di potenza di calcolo per eseguire 405 lavori diversi contemporaneamente. Pensa a questo come al tentativo di trovare la ricetta perfetta per una nuova personalità cucinando 405 torte diverse, ognuna con quantità leggermente diverse di farina, zucchero e uova, per vedere quale avesse il sapore giusto.

La loro scoperta principale è che puoi effettivamente trasformare un robot passivo e compiacente in un robot proattivo e socratico, ma solo se segui un insieme di regole molto rigide. Primo, non puoi partire da un robot grezzo e non addestrato; devi partire da uno che sappia già seguire le istruzioni. Cercare di insegnare a un robot grezzo come essere assertivo è come cercare di insegnare a un neonato come discutere di filosofia; si confonde e dimentica come parlare correttamente. Secondo, la "ricetta" per la nuova personalità è sorprendentemente piccola. Hanno scoperto che l'uso di un piccolo aggiustamento specifico chiamato LoRA (Low-Rank Adaptation) con un "rank" di 16 funzionava meglio. Se rendevano l'aggiustamento troppo grande (rank 32), il robot si confondeva e memorizzava i dati di addestramento troppo perfettamente, fallendo nel generalizzare. Se era troppo piccolo (rank 8), non riusciva ad apprendere abbastanza. Era la zona "Goldilocks" (quella giusta) di 16.

Forse la scoperta più sorprendente è stata quanto breve dovesse essere l'addestramento. La ricercatrice ha scoperto che il robot apprende questa nuova personalità in una finestra temporale molto stretta: tra 2 e 3 "epoch" (che sono solo passaggi completi attraverso i dati di addestramento). Se lo avessero addestrato per una sola epoch, il robot non avrebbe imparato abbastanza. Ma se avessero continuato per 5, 7 o 10 epoch, il robot avrebbe iniziato a fare "overfitting". Immagina uno studente che studia per un esame per troppo tempo; smette di comprendere i concetti e inizia solo a memorizzare le domande e le risposte esatte, fallendo nell'applicare la conoscenza a nuove situazioni. Il robot faceva la stessa cosa: dopo 3 epoch, smetteva di essere un buon pensatore e iniziava solo a ripetere i dati di addestramento, perdendo la capacità di gestire nuove conversazioni.

Hanno anche testato se questa personalità "socratica" potesse saltare da una lingua all'altra. Hanno addestrato il robot usando dati slovacchi e poi gli hanno posto domande in inglese, spagnolo, tedesco e altre lingue. I risultati sono stati contrastanti. Il robot era bravo a essere breve e incisivo in tutte le lingue, ma la sua capacità di porre le domande giuste dipendeva dalla lingua. Era molto bravo a fare domande in spagnolo (60% delle volte) e in inglese (30% delle volte), ma falliva completamente nel porre domande in tedesco, portoghese e nello stesso slovacco (0% in alcuni test). Ciò suggerisce che, mentre il robot ha appreso l'abitudine di essere breve, la specifica competenza di porre domande profonde non si è trasferita perfettamente a lingue che sono molto diverse da quella su cui è stato addestrato.

Infine, hanno usato una tecnica chiamata Direct Preference Optimization (DPO) per insegnare al robot a scegliere risposte brevi e interrogative invece di risposte lunghe e gentili. Questo è stato il tocco finale che ha trasformato un robot che solo cercava di essere assertivo in uno che lo era effettivamente. Prima di questo passaggio, il robot scriveva ancora paragrafi lunghi e prolissi. Dopo il DPO, ha imparato a ridurre le sue risposte a una media di sole 3 parole, spesso terminando con un punto interrogativo. Per esempio, invece di scrivere un lungo discorso sul perché si dovrebbe fare esercizio fisico, chiederebbe semplicemente: "Quanti giorni?".

In definitiva, il paper dimostra che puoi riprogrammare la personalità di un'IA per renderla un coach proattivo e interrogativo, ma richiede una configurazione molto specifica: parti da un modello ottimizzato per le istruzioni, usa una dimensione di aggiustamento piccola (rank 16), interrompi l'addestramento esattamente tra le 2 e le 3 epoch e usa l'ottimizzazione delle preferenze per tagliare i fronzoli. Sebbene questo funzioni magnificamente per le lingue simili ai dati di addestramento, il robot fatica ancora a mantenere questa nuova personalità in lingue che sono troppo distanti dalle sue radici di addestramento. La ricercatrice ha dimostrato che con la giusta matematica e un po' di potenza di calcolo, possiamo rimodellare il comportamento dell'IA, ma dobbiamo stare attenti a non "cuocere troppo" la ricetta.