Nel mondo dell'intelligenza artificiale moderna, i grandi modelli linguistici sono come vaste biblioteche di conoscenza umana, capaci di scrivere storie, risolvere equazioni e rispondere a domande. Tuttavia, queste biblioteche non sono naturalmente organizzate per essere utili, sicure o obbedienti alle istruzioni umane. Per risolvere questo problema, i ricercatori utilizzano un processo chiamato allineamento, che funge da fase finale di addestramento per insegnare al modello come comportarsi come un buon assistente. Il metodo standard per questo prevede una tecnica nota come apprendimento per rinforzo, in cui il modello prova diverse risposte, riceve un punteggio in base a quanto sono buone e poi utilizza una matematica complessa per regolare le sue impostazioni interne per ottenere un punteggio migliore la volta successiva. Questo processo è potente, ma è anche incredibilmente pesante. Richiede enormi quantità di potenza di calcolo, hardware specializzato e una comunicazione costante tra molti processori, rendendolo costoso e difficile da scalare per i modelli più grandi.

Un team di ricercatori di T-Tech e Yandex ha proposto una strada diversa, una che salta interamente i pesanti aggiustamenti matematici. Chiamano il loro nuovo metodo ESSA, che sta per Evolutionary Strategies for Scalable Alignment (Strategie Evolutive per l'Allineamento Scalabile). Invece di calcolare come spingere il modello nella direzione giusta, ESSA tratta il modello come un organismo vivente in una simulazione. Crea molte versioni leggermente diverse del modello, le testa tutte insieme per vedere quale performa meglio e poi conserva i tratti migliori scartando gli altri. Questo approccio elimina la necessità dei complessi calcoli inversi che rallentano i metodi tradizionali. Concentrandosi solo su una parte minuscola e specifica delle impostazioni del modello e utilizzando una strategia che imita la selezione naturale, i ricercatori hanno scoperto di poter allineare modelli massicci molto più velocemente e con molta meno potenza di calcolo rispetto al passato, ottenendo risultati che eguagliano o superano persino i metodi allo stato dell'arte.

L'idea centrale dietro ESSA è smettere di cercare di regolare ogni singolo numero all'interno del modello. I grandi modelli linguistici contengono miliardi di questi numeri, e cambiarli tutti in una volta è come cercare di sterzare un superpetroliere muovendo ogni singolo bullone sullo scafo. I ricercatori si sono resi conto che dopo una fase iniziale di addestramento, il modello sa già come svolgere il compito di base. Ciò di cui ha bisogno è un fine-tuning, un piccolo aggiustamento del suo comportamento. Per raggiungere questo obiettivo, hanno utilizzato una tecnica chiamata Low-Rank Adaptation, che aggiunge uno strato piccolo e flessibile al modello, e poi hanno scomposto quello strato nei suoi componenti essenziali. Hanno congelato la direzione di questi componenti e hanno permesso solo alla dimensione, o magnitudo, di alcuni numeri chiave di cambiare. Questo ha ridotto il problema dal regolare miliardi di variabili al regolare solo poche migliaia, creando uno spazio compatto dove una strategia di ricerca potesse operare efficientemente.

In questa nuova configurazione, il computer genera una popolazione di modelli candidati, ciascuno con impostazioni leggermente diverse per quei pochi mila numeri. Ogni candidato viene testato su un set di problemi, come la risoluzione di equazioni matematiche o il seguire istruzioni rigorose, e riceve un punteggio. Il sistema analizza quindi i punteggi per decidere quali candidati siano stati i più di successo. Invece di calcolare i gradienti, che sono pendenze matematiche complesse usate per trovare la direzione migliore per muoversi, il sistema seleziona semplicemente i vincitori e usa le loro impostazioni come punto di partenza per la successiva fase di variazione. Questo processo si ripete, con la popolazione che evolve lentamente verso una migliore prestazione. Poiché il sistema ha solo bisogno di eseguire il modello in avanti per ottenere un punteggio, può girare su computer che utilizzano un formato numerico semplificato a bassa precisione, il che garantisce ulteriore risparmio di memoria e velocità.

I ricercatori hanno testato questo metodo su una vasta gamma di compiti, inclusi il seguire istruzioni, l'agire come un assistente utile e la risoluzione di problemi matematici difficili. Hanno confrontato ESSA con i metodi principali che utilizzano l'approccio matematico tradizionale e pesante. Nei compiti che riguardano il ragionamento matematico, ESSA è stato efficace quanto i migliori metodi esistenti e, in alcuni casi, è stato significativamente più veloce. Ad esempio, addestrando un grande modello su un cluster di 128 potenti processori grafici, ESSA ha raggiunto un determinato livello target di accuratezza quasi otto volte più velocemente del metodo standard. Questa accelerazione non è derivata dal fatto che ESSA avesse bisogno di meno esempi per imparare, ma perché ogni fase del suo processo era molto più leggera e poteva essere eseguita in parallelo senza i colli di bottiglia che rallentano l'approccio tradizionale.

Lo studio ha anche esplorato quanto bene questo metodo funzioni con diverse dimensioni di modelli e diversi tipi di compiti. Hanno scoperto che ESSA rimane efficace anche quando il modello viene scalato fino a 72 miliardi di parametri, una dimensione che è tipicamente molto difficile da allineare efficientemente. In questi test su larga scala, il metodo è stato in grado di girare con un modello candidato per processore grafico, un traguardo che sarebbe impossibile con il metodo tradizionale a causa dei vincoli di memoria. I ricercatori hanno anche verificato se il metodo funzionasse quando l'addestramento iniziale veniva fatto su un argomento diverso dall'obiettivo finale, come addestrare sulla conversazione generale ma testare sul rispetto rigoroso delle regole. Il metodo ha retto bene, dimostrando che la ricerca evolutiva poteva trovare i giusti aggiustamenti anche partendo da una base leggermente diversa.

Uno dei risultati più sorprendenti è stato che il metodo non richiedeva le impostazioni complesse e finemente regolate che i metodi tradizionali richiedono. I ricercatori hanno testato diverse dimensioni della popolazione di candidati e hanno scoperto che un numero moderato era solitamente sufficiente per ottenere ottimi risultati. Hanno anche scoperto che il metodo è robusto rispetto ai cambiamenti nel quantitativo di impostazioni del modello che sono consentite di cambiare. Questa stabilità suggerisce che l'approccio evolutivo sia meno sensibile alle scelte specifiche dell'ingegnere, rendendolo più facile da usare nella pratica. Inoltre, il metodo ha funzionato bene anche quando il computer utilizzava una precisione inferiore per i suoi calcoli, perdendo solo una frazione minima di accuratezza pur guadagnando una significativa efficienza in termini di velocità e memoria.

Il documento ha anche affrontato cosa accade quando il metodo viene confrontato con altri modi di cercare le migliori impostazioni. I ricercatori hanno testato diversi tipi di strategie evolutive e hanno scoperto che, sebbene alcune fossero leggermente migliori alla fine, la strategia specifica che avevano scelto era la più affidabile nel ottenere buoni risultati rapidamente. Hanno anche confrontato il loro metodo con una versione che cercava di utilizzare le stesse impostazioni semplificate ma con l'approccio matematico tradizionale. Il metodo evolutivo ha costantemente superato questo ibrido, provando che il modo in cui la ricerca veniva condotta era importante quanto le impostazioni stesse che venivano cercate. Ciò suggerisce che la vecchia idea di usare la selezione naturale per addestrare le macchine non è solo un piano di riserva, ma un'alternativa potente che può superare gli strumenti standard nelle giuste condizioni.

In definitiva, il lavoro dimostra che l'imponente e complessa macchina dell'allineamento moderno non è l'unica via da seguire. Semplificando il problema in una ricerca delle migliori impostazioni tra un piccolo gruppo di candidati, e sfruttando la potenza del calcolo parallelo, i ricercatori hanno dimostrato che i grandi modelli possono essere allineati in modo rapido ed efficiente. Il metodo non sostituisce l'addestramento iniziale che fornisce al modello la sua conoscenza di base, ma fornisce un nuovo modo più leggero per dare forma a tale conoscenza affinché diventi un assistente utile. Man mano che i modelli continuano a crescere, questo approccio offre una via pratica per mantenerli allineati senza richiedere una quantità impossibile di potenza di calcolo, suggerendo che il futuro dell'allineamento dell'IA possa risiedere in strategie più semplici e dirette piuttosto che in formule matematiche sempre più complesse.