Architecture-Dependent Causal Transfer of Activation States Across Large Language Models
Questo articolo dimostra che, sebbene gli stati di attivazione interni possano essere proiettati tra diverse architetture di modelli linguistici di grandi dimensioni con un misurabile allineamento rappresentazionale, il successo del trasferimento causale end-to-end di tali stati durante la generazione è strettamente dipendente dall'architettura, funzionando in modo affidabile solo per specifiche coppie decoder-only piuttosto che fungere da meccanismo universale.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immaginate due persone che cercano di parlare tra loro, ma che sono costrette a comunicare attraverso un traduttore che parla una terza lingua. La prima persona sussurra un pensiero, il traduttore lo scrive, la seconda persona lo legge e poi il traduttore scrive una risposta. Questo processo richiede tempo, costa denaro e rischia di perdere il significato originale nella traduzione. Oggi, i sistemi di intelligenza artificiale comunicano esattamente in questo modo. Quando un programma per computer deve inviare informazioni a un altro, converte i suoi pensieri interni in testo leggibile dall'uomo, invia quel testo, e il programma ricevente lo legge e lo converte nuovamente nei propri pensieri interni. Questo strato intermedio di testo è l'unico modo in cui attualmente sanno parlare. Ma cosa succederebbe se potessero saltare completamente il testo? E se una macchina potesse semplicemente consegnare il proprio stato interno direttamente a un'altra, come passare un biglietto senza mai scriverlo? Questa è la domanda a cui i ricercatori hanno cercato di rispondere: possono diversi tipi di intelligenza artificiale, costruiti da diverse aziende e addestrati su dati differenti, comprendere i segnali interni l'uno dell'altro senza bisogno di tradurli prima in parole?
Per comprendere l'esperimento, aiuta sapere che questi programmi, noti come grandi modelli linguistici, non pensano in parole come fanno gli esseri umani. Invece, elaborano le informazioni come vasti, mutevoli schemi di numeri chiamati stati di attivazione. Potete pensare a questi schemi come alla specifica scarica elettrica di un cervello in un singolo momento. Quando un modello legge una domanda, all'interno di esso si accende un pattern unico di attività. Il ricercatore voleva sapere se il pattern di un'idea specifica in un modello sembrasse abbastanza simile al pattern della stessa idea in un altro modello da poter costruire un ponte tra loro. Se i pattern fossero stati abbastanza simili, un computer avrebbe potuto imparare a tradurre il segnale interno del primo modello direttamente nel segnale interno del secondo, bypassando del tutto la necessità del testo.
Un ricercatore si è proposto di testare questa idea utilizzando quattro diversi modelli di intelligenza artificiale. Questi modelli sono stati scelti con cura per rappresentare diverse famiglie di tecnologia e diverse storie di addestramento. Tre di essi sono stati costruiti per generare testo una parola alla volta, mentre il quarto è stato costruito per comprendere il testo da entrambe le direzioni contemporaneamente. Il ricercatore ha prima verificato se i pattern interni di questi modelli fossero anche abbastanza simili da poter essere confrontati. Hanno osservato come i modelli reagivano a coppie di concetti correlati, come parole che sono sinonimi o parole che si trovano spesso insieme nei libri. Hanno scoperto che, per i tre modelli costruiti nello stesso modo, i pattern interni erano effettivamente simili. Tuttavia, il modello costruito diversamente non mostrava tale somiglianza. Ciò suggeriva che il modo in cui un modello è costruito conta più di chi lo ha costruito o di quali dati sia stato addestrato.
Successivamente, il ricercatore ha cercato di costruire un ponte. Ha addestrato un piccolo e semplice programma per computer per agire come un traduttore, imparando come convertire il segnale interno di un modello nel segnale interno di un altro. Ha testato questo ponte mostrando al programma una domanda, convertendo la reazione del primo modello a quella domanda e vedendo se il secondo modello fosse in grado di riconoscerla come la risposta corretta tra una lista di venti possibilità. Per i tre modelli che erano stati costruiti in modo simile, questo ponte ha funzionato sorprendentemente bene. Il secondo modello identificava correttamente la fonte del segnale circa la metà delle volte, il che è molto meglio di un azzardo casuale. Ma per il modello costruito diversamente, il ponte è fallito completamente; il secondo modello non riusciva affatto a riconoscere il segnale. Questo ha confermato che, sebbene uno strato di traduzione sia possibile, esso funziona solo tra modelli che condividono una specifica famiglia architettonica.
Il test finale e più difficile era vedere se questa traduzione potesse effettivamente cambiare il comportamento del modello ricevente in tempo reale. Il ricercatore ha preso il segnale tradotto dal primo modello e lo ha iniettato direttamente nel secondo modello mentre quest'ultimo era nel mezzo della scrittura di una nuova risposta. Volevano vedere se questa iniezione avrebbe guidato l'output del secondo modello verso l'argomento della domanda originale. I risultati sono stati misti e hanno rivelato un limite cruciale. Quando hanno provato tra due modelli specifici, l'iniezione ha funzionato. L'output del secondo modello è cambiato visibilmente verso l'argomento della domanda del primo modello, provando che il segnale era stato ricevuto e aveva un effetto causale. Tuttavia, quando hanno provato lo stesso trucco con un terzo modello, è fallito completamente. Nonostante i pattern interni sembrassero simili sulla carta, l'iniezione del segnale non ha cambiato affatto l'output.
Il ricercatore ha concluso che, sebbene sia possibile trasferire il supporto fisico di un pensiero — lo specifico pattern di attività elettrica — da una macchina all'altra, ciò non significa che le macchine stiano condividendo una comprensione profonda o un significato comune. Nei casi di successo, il secondo modello non necessariamente forniva la risposta corretta alla domanda originale. Invece, produceva un testo tematicamente correlato, come parlare di triangoli quando la domanda originale riguardava i quadrati. Il segnale era stato trasferito, ma il significato non era stato perfettamente preservato. Lo studio mostra che la comunicazione diretta tra intelligenze artificiali è tecnicamente possibile, ma non è un linguaggio universale. Dipende interamente dal design specifico delle macchine coinvolte. Se i design non corrispondono, il segnale non può essere compreso e il trasferimento fallisce. Ciò significa che in futuro, se vogliamo che diversi sistemi di IA comunichino direttamente tra loro, non possiamo dare per scontato che funzioneranno semplicemente; dobbiamo garantire che siano costruiti in modi compatibili, o dovremo costruire un traduttore specifico per ogni singola coppia di sistemi che vogliamo connettere.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.