Sintesi Tecnica: Previsione Precoce di Strategie Comportamentali Future da Tracce di Processo

Formulazione del Problema

I sistemi adattivi (ad esempio, tutor intelligenti, motori di gioco, collaboratori uomo-IA) affrontano spesso la sfida di prendere decisioni specifiche per il compito basate su prove limitate. Il problema centrale affrontato è l'inferenza comportamentale cross-task precoce: prevedere come un individuo organizzerà il proprio comportamento in un task target non ancora osservato, utilizzando solo tracce di processo parziali da task sorgente precedenti.

Gli approcci esistenti affrontano due limitazioni primarie:

1. Sintesi Aggregate dei Risultati: I metodi tradizionali si affidano a metriche come punteggi, tassi di completamento o tempi di reazione. Sebbene compatte e disponibili tra diversi task, queste sintesi spesso collassano processi comportamentali distinti (ad esempio, pianificazione sistematica rispetto a frequenti cambi di direzione) in esiti simili, fallendo nel catturare il come del comportamento.
2. Modellazione del Processo a Task Singolo: Sebbene i modelli di sequenza moderni (ad esempio, i transformer) possano modellare le dipendenze temporali all'interno di un singolo task, essi spesso intrecciano tendenze stabili a livello di persona con layout e affordance specifici del task. Inoltre, le tendenze latenti di una persona possono essere espresse solo parzialmente in un singolo task sorgente.

Il documento postula che esista una struttura trasferibile a livello di persona che richiede la fusione di prove di processo attraverso più task sorgente per essere recuperata efficacemente, specialmente quando osservare un comportamento sufficiente nel task target non è praticabile.

Metodologia: Modello di Variabile Latente a Livello di Processo (PLVM)

Gli autori propongono il Process-Level Latent Variable Model (PLVM), un framework progettato per codificare tracce specifiche per task e fonderle in una rappresentazione latente condivisa a livello di persona per la previsione cross-task.

Architettura

Il modello consiste in tre componenti distinte (illustrate nella Figura 1 del paper):

1. Encoder di Processo Specifici per Task: Per ogni task sorgente $k$, un encoder dedicato $f_k$ (implementato come un transformer causale) elabora la traccia parziale $X^{(t)}_{i,k}$. Questi encoder sono addestrati indipendentemente utilizzando un obiettivo di auto-supervisione di previsione del prossimo evento (prevedere la successiva azione o il cambiamento di posizione) per apprendere la dinamica comportamentale all'interno del task. Una volta addestrati, questi encoder vengono congelati.
2. Fuser Cross-Task: Gli embedding $h_{i,k}$ provenienti dai task sorgente vengono concatenati e passati attraverso una rete di fusione feed-forward $g_\phi$. Questo modulo apprende a combinare le prove da diversi task sorgente per costruire uno stato latente condiviso a livello di persona, di dimensione fissa, $z_i$.
3. Decoder del Comportamento Target: Un decoder $d_\psi$ mappa lo stato latente fuso $z_i$ in punteggi di previsione $\theta_i$, che vengono utilizzati per classificare la strategia comportamentale nel task target tenuto in riserva (ad esempio, tramite softmax per la classificazione).

Protocollo di Addestramento

Gli encoder specifici per task sono addestrati separatamente. Il modulo di fusione e il decoder vengono quindi addestrati congiuntamente utilizzando l'obiettivo di previsione cross-task con perdita di cross-entropy. Fondamentalmente, il modello viene valutato sotto un protocollo di osservazione parziale: ad ogni tempo di cutoff $t$, i modelli ricevono solo il prefisso delle tracce dei task sorgente. La traccia del task target non viene mai fornita come input durante l'inferenza.

Valutazione Sperimentale

Gli autori valutano il PLVM utilizzando due approcci complementari: gameplay umano reale e simulazioni controllate.

1. PowerWash Simulator (Dati Umani Reali)

• Dataset: Telemetria di 11.080 giocatori che completano compiti di pulizia spaziale.
• Setup: I giocatori completano "Back Garden" e "Bungalow" (task sorgente) prima di un "Fire Station" (task target) tenuto in riserva.
• Variabile Target: Stile di Navigazione, operazionalizzato come la tendenza a persistere localmente all'interno di regioni spaziali ("Zone Planners") rispetto al cambiare frequentemente tra le regioni ("Zone Hoppers"). Le etichette sono derivate dai tassi di cambio zona, tassi di ritorno e distanze di salto nel livello Fire Station.
• Baseline:
  • Basata sull'esito (Outcome-based): Utilizza sintesi aggregate (completamento %, sottotask/min) dai task sorgente.
  • Processo a Task Singolo: Utilizza gli stessi encoder transformer ma elabora un solo task sorgente alla volta senza fusione.

2. Simulazione Controllata in Mondo a Griglia (Controllo del Meccanismo)

• Setup: Agenti sintetici completano due compiti: un compito di "Foraging all'Aperto" (che enfatizza la ricerca opportunistica di ricompense) e un compito di "Pulizia al Coperto" (che enfatizza la persistenza nelle zone).
• Verità Fondamentale (Ground Truth): Gli agenti hanno fenotipi latenti noti (Tipo A vs Tipo B) determinati dalla configurazione congiunta delle spinte di persistenza e opportunismo.
• Razionale: I compiti sono progettati per fornire prove complementari. Il foraging rivela la dimensione dell'opportunismo, mentre la pulizia rivela la dimensione della persistenza. Nessun compito da solo identifica completamente il fenotipo.

Risultati Chiave

PowerWash Simulator

• Baseline degli Esiti: Le metriche aggregate (completamento, produttività) hanno mostrato una debole separazione tra futuri Planner e Hopper (AUC $\approx$ 0.51–0.55), performando vicino al caso casuale.
• Modelli a Task Singolo: Le tracce di processo dei singoli task hanno migliorato la previsione rispetto agli esiti, confermando che le tracce ordinate contengono segnali oltre le sintesi.
• Performance del PLVM: Il PLVM ha superato costantemente entrambe le baseline. A un cutoff di osservazione di 60 minuti, il PLVM ha raggiunto un'accuratezza del 65,3%, rispetto al 62,9% della migliore baseline a task singolo.
• Spazio Latente: La visualizzazione della rappresentazione latente fusa ha mostrato uno spostamento visibile tra Zone Planners e Zone Hoppers, nonostante una significativa sovrapposizione, indicando che il modello ha appreso una struttura predittiva rilevante per lo stile di navigazione futuro.

Simulazioni Controllate

• Complementarità: Il PLVM ha mostato i guadagni più significativi quando i task sorgente erano complementari. Nel setup complementare, il PLVM ha raggiunto un'accuratezza dell'86,6%, superando significativamente il miglior modello a task singolo (68,0%).
• Ridondanza: Quando i task erano ridondanti (fornivano la stessa informazione), il PLVM non ha offerto alcun beneficio, poiché un singolo task rivelava già la struttura.
• Validazione del Meccanismo: I risultati confermano che la fusione cross-task è più efficace quando diversi task rivelano aspetti complementari di un processo latente condiviso.

Significato e Rivendicazioni

Il paper rivendica tre contributi primari:

1. Formulazione del Problema: Inquadra la previsione precoce della strategia comportamentale cross-task come un problema distinto e rilevante per le applicazioni, andando oltre la valutazione basata sugli esiti o la modellazione di sequenze a task singolo.
2. Innovazione Metodologica: Introduce il PLVM, un modello di variabile latente che riesce a fondere gli embedding delle tracce specifiche per task in una rappresentazione condivisa a livello di persona, consentendo la previsione del comportamento in un task non ancora osservato.
3. Evidenza Empirica: Attraverso sia dati umani reali che simulazioni controllate, gli autori dimostrano che la strategia comportamentale trasferibile non è interamente catturata dagli esiti aggregati o dalle tracce di processo a task singolo.

Gli autori concludono che la modellazione dei processi cross-task è particolarmente preziosa in "contesti intermedi" dove:

• I task condividono una struttura comportamentale trasferibile.
• Nessun task osservato singolarmente rivela completamente il comportamento target.
• Gli esiti aggregati sono insufficienti per la differenziazione.

Il lavoro rimane modesto, osservando che mentre il meccanismo è validato in simulazione, le etichette nel mondo reale sono misure operative di commutazione spaziale piuttosto che tratti psicologici validati esternamente, e l'approccio può offrire poco beneficio se i task sono non correlati o se gli esiti sono già sufficienti.