Key Distance Effects in a Controlled Synthetic Rubric-Routing Unit Test for Small Character-Level Transformers

Sintesi Tecnica: Effetti della Distanza delle Chiavi in un Test Unitario di Routing di Rubriche Sintetiche Controllate

Definizione del Problema
I sistemi educativi automatizzati si affidano sempre più a decisioni di routing basate su campi chiave strutturati (ad esempio, identificatori di corsi, versioni di rubriche, profili di evidenza). Tuttavia, è difficile determinare se un modello abbia appreso la ricerca logica prevista o se abbia semplicemente sfruttato indizi superficiali, squilibri di classe o predittori a campo singolo. Le metriche di accuratezza dei task finali esistenti possono nascondere i meccani specifici di fallimento, come l'incapacità di trattenere una specifica chiave, il fallimento nel combinare più chiavi o la difficoltà di esprimere una mappatura attraverso un'interfaccia di output specifica. Il documento affronta la necessità di uno strumento diagnostico che isoli l'operazione di "lookup" (ricerca) preliminare dalla valutazione semantica, permettendo ai ricercatori di validare gli strati di routing prima del dispiegamento su testi autentici.

Metodologia
Lo studio impiega un test unitario sintetico controllato progettato per valutare piccoli Transformer a livello di carattere addestrati da zero.

• Design del Task: L'esperimento crea una mappatura 4 × 4 completamente bilanciata tra quattro chiavi sorgente neutre (che rappresentano famiglie di corsi/rubriche) e quattro chiavi di profilo di evidenza. Queste 16 coppie sono assegnate a quattro classi di azione neutre. Il design assicura che né la sorgente né il profilo da soli possano predire l'azione al di sopra del livello di probabilità nominale di 0,25, costringendo il modello a apprendere l'associazione congiunta.
• Condizioni Sperimentali: Tre condizioni testano l'organizzazione superficiale delle chiavi:
  1. Atomica: Una singola chiave congiunta contenente entrambi gli identificatori.
  2. Fattorizzata Adiacente: Due chiavi separate poste immediatamente l'una accanto all'altra.
  3. Fattorizzata con Padding: Due chiavi separate da 256 caratteri neutri di spazio.
• Architettura del Modello: Lo studio utilizza un Transformer decoder-only a livello di carattere con un classificatore a span di chiave fisso. Il classificatore riceve stati latenti medi-poolati dagli span sorgente e profilo marcati, concatenati con feature pairwise esplicite (prodotto elemento per elemento e differenza assoluta). Questa "testa" è progettata appositamente per facilitare la combinazione delle rappresentazioni, garantendo che il successo rifletta la capacità dello backbone di fornire rappresentazioni di span informative piuttosto che la scoperta spontanea di fattori.
• Scala e Protocollo: Lo studio confronta due dimensioni di modello: un modello primario da 2,67M di parametri (6 strati, 192 dimensione embedding) e una replica da 0,8M di parametri (4 strati, 128 dimensione embedding). Su 144 run congelate (variando le realizzazioni della mappatura e i seed di inizializzazione), i modelli sono stati addestrati fino a un orizzonte fisso di 2.000 equivalenti di classificazione.
• Endpoint: Gli endpoint primari includono l'accuratezza esatta a quattro classi e l'area sotto la curva di apprendimento normalizzata (AUC). L'analisi di intervento consiste nel sostituire una chiave all'interno di un caso per misurare lo spostamento dei log-odds predetti verso l'azione prescritta dalla chiave sostitutiva.

Contributi Chiave

1. Strumento Diagnostico Sintetico: Il documento fornisce un test sintetico trasparente per le operazioni di routing preliminari con nulli marginali espliciti e un ambito di rivendicazione ristretto, separando le capacità di fattorizzazione dagli effetti di spaziatura delle chiavi.
2. Gate di Controllo Positivo: Stabilisce un regime di "controllo positivo" in cui un modello deve prima dimostrare la apprendibilità su una chiave congiunta atomica prima che possano essere fatte affermazioni sulla fattorizzazione o sulla spaziatura.
3. Isolamento delle Variabili: Mantenendo costanti la mappatura, il budget di addestramento, la testa di output e il template di query, lo studio isola gli effetti della fattorizzazione delle chiavi e della distanza superficiale.
4. Metriche di Intervento Comportamentale: Invece di affidarsi all'accuratezza aggregata del donatore (che è non informativa sotto permutazioni bilanciate), lo studio utilizza gli spostamenti di log-odds all'interno del caso per verificare che le chiavi specifiche governino comportamentalmente la decisione.

Risultati

• Controllo Positivo: La condizione della chiave congiunta atomica ha superato il controllo positivo in entrambe le dimensioni del modello (accuratezza media ~0,89 per il modello primario, ~0,83 per la replica), confermando che l'interfaccia è apprendibile.
• Fattorizzazione (Adiacente vs. Atomica): Nel modello primario (più grande), le chiavi fattorizzate adiacenti non sono state inferiori alle chiavi atomiche (differenza di -0,010, superando il margine di -0,10). Nel modello più piccolo, sebbene la media fosse negativa (-0,081), il risultato non è stato statisticamente non inferiore a causa della maggiore variabilità a livello di seed, suggerendo una sensibilità all'inizializzazione piuttosto che un fallimento strutturale definitivo.
• Distanza delle Chiavi (Padded vs. Adiacente): Separare le chiavi con 256 caratteri ha degradato significativamente le prestazioni in entrambi i modelli.
  • Accuratezza: Ha ridotto l'accuratezza finale di circa 0,25 (ad esempio, da 0,88 a 0,63 nel modello primario).
  • Dinamiche di Apprendimento: Ha ridotto l'AUC della curva di apprendimento normalizzata di circa 0,04, indicando una formazione della mappatura più lenta o meno sostenuta.
  • Confidenza: La condizione con padding ha mostrato un'entropia di predizione più elevata e un rank atteso peggiore.
• Analisi di Intervento: Sostituire la chiave sorgente o quella di profilo nella condizione adiacente ha spostato costantemente la distribuzione predetta verso l'azione prescritta dalla chiave sostitutiva, confermando che entrambe le chiavi sono utilizzate comportamentalmente nel processo decisionale.

Significatività e Rivendicazioni
Il documento sostiene che in questa interfaccia controllata, la distanza superficiale delle chiavi, piuttosto che il contenuto della mappatura, è il fattore determinante per il successo del routing nei piccoli modelli. I risultati suggeriscono che, sebbene i piccoli Transformer possano gestire chiavi fattorizzate se sono adiacenti, l'introduzione di una spaziatura significativa (anche all'interno della finestra di contesto) impone una penalità sostanziale sia sull'accuratezza finale che sulla velocità di apprendimento.

Lo studio enfatizza che questo paradigma isola un meccanismo di lookup piuttosto che una valutazione semantica. Argomenta che, prima di attribuire i fallimenti di routing nei sistemi educativi a deficit di ragionamento o limiti di fattorizzazione, i ricercatori devono prima stabilire che il sistema possa esprimere la mappatura target attraverso il canale di output scelto (controllo positivo) e che la geometria del prompt non ostacoli artificialmente la combinazione dei campi necessari. Il lavoro motiva l'uso di test unitari sintetici come passaggio diagnostico prima della valutazione su testi autentici e architetture operative.