💻 computer science

Testing History Dependence Between In-Context and In-Weights Learning

Questo studio dimostra che, sebbene l'ordine di addestramento (avvicinarsi a una miscela bilanciata da diverse direzioni) crei una differenza transitoria e misurabile nella forza dei meccanismi di apprendimento in-context rispetto a quelli nei pesi, esso non produce un'isteresi persistente o organizzazioni di circuiti causali fondamentalmente diverse nei piccoli transformer.

Autori originali: Zuo Yuchen

Pubblicato 2026-08-06

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Zuo Yuchen

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot come raccontare barzellette. Puoi insegnarlo in due modi. Primo, puoi mostrargli alcuni esempi subito prima che parli, come un foglio di riferimento sul tavolo. Il robot legge il foglio di riferimento e capisce la battuta in base a ciò che vede proprio ora. Questo è chiamato In-Context Learning. È come se il robot stesse pensando in modo rapido e spontaneo. Secondo, puoi fare pratica con il robot per ore finché non impara le barzellette così bene da non aver più bisogno del foglio di riferimento. Le barzellette sono ora cablate nel suo cervello. Questo è l'In-Weights Learning.

Per molto tempo, gli scienziati si sono chiesti: se dai al robot lo stesso identico mix di fogli di riferimento e di pratica, risolve sempre il problema nello stesso modo? O conta come ci è arrivato? Ha iniziato memorizzando e poi imparando a leggere il foglio di riferimento? O ha iniziato leggendo il foglio di riferimento e poi memorizzando le barzellette? Questa domanda riguarda la dipendenza dalla storia. Nel mondo della fisica, questo è simile all'isteresi — come un magnete che ricorda in quale direzione è stato tirato, anche dopo che hai smesso di tirare. Se il cervello di un robot ha un'isteresi, il suo stato attuale non dipende solo da ciò che sta vedendo ora; dipende anche dal percorso che ha fatto per arrivarci. Questo è importante perché, se i modelli di IA sono simili a questo, potremmo non essere in grado di prevedere il loro comportamento guardando solo i loro dati attuali; avremmo bisogno di conoscere tutta la loro storia di addestramento.

Questo articolo prende un piccolo robot controllato (un minuscolo modello di IA) e lo sottopone a un test specifico per vedere se possiede questo tipo di "memoria del percorso". Gli ricercatori hanno organizzato un gioco in cui il robot deve indovinare un codice segreto. A volte il codice dipende da un indizio fornito nella frase corrente (il foglio di riferimento), e a volte dipende da una regola che il robot ha imparato molto tempo fa (la memoria cablata). Hanno addestrato due copie identiche del robot per raggiungere lo stesso punto esatto del gioco, ma le hanno portate lì attraverso percorsi diversi. Una copia ha iniziato concentrandosi sulle regole cablate e si è spostata lentamente verso i fogli di riferimento. L'altra ha iniziato con i fogli di riferimento e si è spostata lentamente verso le regole cablate.

I ricercatori hanno scoperto che, quando entrambe le copie del robot sono arrivate allo stesso punto esatto, non agivano esattamente allo stesso modo. Quella che proveniva dal lato "cablate" era leggermente più propensa a usare il foglio di riferimento rispetto a quella che proveniva dal lato "foglio di riferimento". Era come se il robot che era partito dalle regole fosse ancora un po' "bloccato" in quel modo di pensare, anche se ora stava guardando gli stessi indizi dell'altro robot. Questa differenza era reale e misurabile: lo scarto nel loro comportamento era di circa 0,098 punti su una scala specifica, e questo accadeva in tutti e cinque i diversi esperimenti di addestramento.

Tuttavia, questa memoria del percorso è stata molto breve. I ricercatori hanno fatto continuare l'addestramento ai robot in quel medesimo punto per un po' più a lungo. Dopo solo 25 passi in più, la differenza ha iniziato a invertirsi e poi a scomparire. Al termine di 100 passi, i due robot agivano in modo quasi identico. Il "fantasma" del percorso che avevano preso era svanito.

Per capire perché ciò sia accaduto, gli scienziati hanno guardato dentro il cervello del robot. Hanno scoperto che entrambi i robot stavano usando le stesse identiche parti interne per risolvere il problema. Non erano passati a un "circuito" diverso o a un nuovo modo di pensare. Invece, il robot che proveniva dal lato "cablato" aveva semplicemente alzato leggermente il volume della parte del suo cervello che legge il foglio di riferimento. Era un aumento temporaneo del volume, non un cambiamento permanente nel cablaggio.

Quindi, l'articolo suggerisce che, sebbene i modelli di IA possano ricordare brevemente come sono arrivati a un certo punto, questo non è un loop di "isteresi" permanente dove rimangono bloccati in stati diversi per sempre. È più simile a un ritardo momentaneo, un rapido eccesso che si stabilizza mentre il modello continua ad apprendere. Lo studio dimostra che, per comprendere veramente il comportamento di un'IA, bisogna guardare alla sua storia immediata, ma non è necessario preoccuparsi che rimarrà bloccata in uno stato strano per sempre solo a causa del modo in cui è stata addestrata. Il modello alla fine recupera e dimentica il percorso, concentrandosi solo sulla destinazione.

Sintesi Tecnica: Test della dipendenza dalla storia tra l'apprendimento in-context e l'apprendimento in-weights

Problema

L'apprendimento in-context (ICL) e l'apprendimento in-weights (IWL) permettono ai transformer di risolvere compiti di predizione utilizzando o associazioni basate su prompt o associazioni parametrizzate stabili. Sebbene studi precedenti abbiano stabilito che l'ICL possa emergere e successivamente declinare a favore dell'IWL durante l'addestramento, rimane poco chiaro se la distribuzione dei dati attuale determini univocamente il meccanismo del modello. Nello specifico, non è noto se lo stato di un modello a una fissa miscela di ICL e IWL sia unico, o se il modello conservi una "memoria" della traiettoria di addestramento (dipendenza dalla storia) che influenza il suo comportamento e l'organizzazione dei circuiti causali. Questo studio investiga se un modello che arriva a una identica miscela di ICL/IWL da direzioni opposte (schedulazioni di miscela crescenti vs decrescenti) esibisca comportamenti o sensibilità causali differenti, un fenomeno analogo all'isteresi nei sistemi dinamici.

Metodologia

L'autore ha progettato uno studio causale controllato e controbilanciato utilizzando un piccolo decoder-only transformer (2 layer, 4 teste, 72k parametri) su un compito di richiamo associativo ambiguo.

Design del Compito: Il compito consiste nel predire un valore per una chiave di query. Esistono due regole concorrenti: una regola contestuale (basata sulle coppie chiave-valore del prompt corrente) e una regola fissa (una permutazione globale appresa nei pesi). Un parametro di miscela $p_{ICL}$ controlla la probabilità che il target di addestramento segua la regola contestuale. Fondamentalmente, la distribuzione di input rimane fissa mentre $p_{ICL}$ varia, garantendo che i cambiamenti nel comportamento siano guidati dalla distribuzione del target e non dalle statistiche di input.
Schedulazioni di Addestramento Controbilanciate:
- Un modello "ancora" viene addestrato fino alla convergenza a un target di miscela $p_0$ .
- Il modello e lo stato dell'ottimizzatore vengono clonati.
- Due rami attraversano schedulazioni di miscela triangolari con identico numero di aggiornamenti, identici multiset di esempi di addestramento e identica esposizione cumulativa, ma in ordini opposti:
  - Dal basso: $p_0 \to p_0 + \delta \to p_0 - \delta \to p_0$ (avvicinandosi al target dal lato che favorisce l'IWL).
  - Dall'alto: $p_0 \to p_0 - \delta \to p_0 + \delta \to p_0$ (avvicinandosi al target dal lato che favorisce l'ICL).
- Questo design isola l'effetto dell'ordine e della direzione di approccio finale pur pareggiando età di addestramento, stato dell'ottimizzatore ed esposizione ai dati.
Metriche di Valutazione:
- Comportamentale: Il margine dei logit tra le risposte contestuali e quelle fisse nei tentativi di conflitto.
- Interventi Causali:
  - Activation Patching: Sostituzione degli stati interni tra esecuzioni pulite e corrotte per tracciare il flusso di informazioni.
  - Mean Replacement: Sostituzione degli output delle teste di attenzione con le loro medie specifiche per checkpoint per misurare il contributo delle informazioni specifiche dell'esempio.
- Controllo di Rilassamento: Valutazione dei modelli dopo 0, 25 e 100 aggiornamenti aggiuntivi alla miscela target fissa per distinguere un lag transitorio da un'isteresi persistente.

Contributi Chiave

Design della Schedulazione Controbilanciata: Un nuovo setup sperimentale che confronta direzioni di arrivo opposte a una miscela identica, numero di aggiornamenti, età dell'ottimizzatore ed esposizione cumulativa dei componenti.
Compito Identificabile Comportamentalmente: Un compito in cui le risposte contestuali e basate sui pesi sono direttamente in conflitto, permettendo di misurare la preferenza di strategia come un margine di logit continuo piuttosto che come accuratezza aggregata.
Test Comportamentali e Causali Accoppiati: Integrazione di patching del residuo e sostituzioni della media di testa/MLP attraverso seed di addestramento indipendenti per localizzare la fonte della dipendenza dalla storia.
Controllo di Rilassamento: Un protocollo per separare gli effetti storici persistenti dai modelli che sono semplicemente lenti nel seguire una miscela di dati variabile.

Risultati

Dipendenza dalla Storia Immediata: Alla miscela bilanciata ( $p_0 = 0.5$ ), i modelli arrivati dal basso (lato che favorisce l'IWL) hanno mostrato un margine di logit contestuale meno la fissa più elevato ( $+0.0976$ ) rispetto a quelli arrivati dall'alto. Questa differenza è stata coerente in tutti e cinque i seed indipendenti (tutti positivi), producendo il più piccolo valore $p$ esatto a due code (sign-flip) ottenibile di 0.0625. L'autore descrive questo segno e intervallo comuni piuttosto che fare un'affermazione di significatività binaria.
Natura Transitoria: Il divario comportamentale si è invertito leggermente dopo 25 aggiornamenti comuni e si è annullato (vicino allo zero) dopo 100 aggiornamenti. Ciò indica che l'effetto è un overshoot transitorio piuttosto che un ramo stabile o un'isteresi quasi-statica.
Meccanismo Causale:
- La sostituzione di tutti gli output delle teste di attenzione in posizione di query con le medie specifiche del checkpoint ha attenuato l'86.8% del divario comportamentale immediato.
- Nonostante la differenza comportamentale, l'identità della testa di attenzione dominante e la topologia delle rotte di patching di attivazione erano quasi identiche (correlazioni > 0.999) tra le due storie.
- I risultati suggeriscono che l'ordine di addestramento moduli il guadagno di una rotta contestuale condivisa piuttosto che selezionare un circuito alternativo distinto.

Significato e Rivendicazioni

L'articolo conclude che, sebbene i piccoli transformer esibiscano una dipendenza dalla storia a velocità finita, non esibiscono un'isteresi quasi-statica.

Rivendicazione Modesta sull'Isteresi: L'autore afferma esplicitamente che l'effetto osservato è una "memoria transitoria dell'ordine di addestramento" che si rilassa rapidamente. Argomentano che gli effetti dell'ordine del curriculum non debbano essere etichettati automaticamente come isteresi senza dimostrare un divario di ramo persistente sotto scansioni lente.
Interpretabilità dello Sviluppo: Lo studio evidenzia che lo snapshot di un modello (parametri e attuale miscela di dati) può non predire univocamente il suo calcolo immediato; modelli molto simili possono mantenere una memoria a breve termine della propria storia di addestramento.
Identità del Circuito vs. Coinvolgimento: Una scoperta chiave è la distinzione tra topologia del circuito e forza di coinvolgimento del circuito. Lo stesso circuito causale (la rotta contestuale tramite specifiche teste di attenzione) è stato utilizzato in entrambe le storie, ma il suo grado di coinvolgimento è stato modulato dalla traiettoria di addestramento.
Rigore Metodologico: Il paper sottolinea che, senza misurare il rilassamento (la fase di "mantenimento"), le differenze transitorie potrebbero essere interpretate erroneamente come rami di circuito persistenti. Il design a loop accoppiato fornisce un metodo compatto per controllare l'età e l'esposizione pur testando la dipendenza dalla storia.

L'autore nota i limiti riguardanti la validità esterna (piccoli modelli sintetici) e l'incapacità di separare completamente la memoria dello stato dell'ottimizzatore dalla memoria dei parametri, avvertendo di non generalizzare questi risultati ai modelli linguistici di frontiera senza ulteriori test su tassi, ottimizzatori e compiti naturalistici.