Architecture-Sensitive Supervised Fine-Tuning for Screen-Conditioned Action Prediction: A PiSAR Benchmark

Riepilogo Tecnico: Affinamento Supervisionato Sensibile all'Architettura per la Predizione di Azioni Condizionate allo Schermo

Enunciato del Problema
Il documento affronta la sfida di prevedere il comportamento e il ragionamento dell'utente in scenari condizionati allo schermo (ad esempio, l'uso di app mobili). Nello specifico, indaga se i modelli Vision-Language (VLM) all'avanguardia a zero-shot possano plausibilmente descrivere l'intento e il ragionamento di un utente, dato uno screenshot e un profilo persona, o se sia necessario un Affinamento Supervisionato (SFT) specifico per il compito per raggiungere un'elevata fedeltà comportamentale. Gli autori ipotizzano che, sebbene i modelli all'avanguardia possiedano un ampio pre-addestramento e un grounding multimodale, possano mancare della specifica "voce" e dei pattern di ragionamento necessari per una simulazione precisa dei comportamenti reali di acquisto e interazione con le app.

Metodologia
Lo studio introduce PiSAR (Persona, Intent, Screen, Action, Rationale), un corpus proprietario di 12.929 tuple curate da recensioni pubbliche degli app store, dati demografici del Pew American Trends Panel e tracce di acquisto OPeRA. La costruzione dei dati segue la regola "reale su 2 slot su 3", garantendo che almeno due dei tre componenti fondamentali (schermo, persona, ragionamento) siano osservati direttamente da esseri umani reali piuttosto che sintetizzati.

La configurazione sperimentale prevede:

1. Divisione del Dataset: Una porzione di 661 righe tenuta da parte di PiSAR funge da benchmark di valutazione.
2. Modelli:
   • Baseline Zero-Shot all'Avanguardia: Claude Opus 4.7 e GPT-5.5, valutati senza affinamento.
   • Modelli Affinati: Due modelli sono stati affinati utilizzando una pipeline SFT LoRA (Low-Rank Adaptation) gestita su Fireworks:
     • Qwen3-VL-8B-Instruct: Affinato su due combinazioni di dati (solo OPeRA: 4.014 righe; Combinato: 13.796 righe).
     • Gemma-4-26B-A4B-IT (MoE): Affinato sul dataset Combinato (13.796 righe) utilizzando gli stessi iperparametri delle esecuzioni Qwen.
3. Metriche di Valutazione: Le prestazioni sono misurate sulle stesse 661 righe utilizzando:
   • Somiglianza Semantica (sem_sim): Similarità coseno tra gli embedding testuali delle giustificazioni predette e quelle gold (metrica primaria).
   • Jaccard dei Token: Sovrapposizione lessicale.
   • Rapporto di Lunghezza: Diagnostico per la verbosità.
   • Tassi di Superamento della Soglia: Percentuale di righe che superano specifiche soglie sem_sim (0,3, 0,5, 0,7).

Contributi Chiave

1. Il Benchmark PiSAR: Una porzione di valutazione standardizzata e ancorata allo schermo per la previsione di giustificazioni comportamentali, che permette un confronto diretto tra modelli all'avanguardia a zero-shot e agenti affinati.
2. Risultati sull'SFT Sensibile all'Architettura: Il documento dimostra che l'efficacia dell'SFT dipende fortemente dal prior post-addestramento del modello base. Una ricetta specifica di affinamento (rank LoRA 16, 13k esempi) ha prodotto un enorme aumento delle prestazioni su un modello istruito da 8B (Qwen), ma non è riuscita a spostare un modello di ragionamento da 26B (Gemma) oltre la baseline zero-shot all'avanguardia.
3. Diagnosi del Disallineamento Ricetta-Modello: Gli autori identificano che i modelli di ragionamento con prior post-addestramento "draft-first" o a catena di pensiero resistono allo spostamento da parte di ricette SFT standard, portando a "sanguinamento del template" (ad esempio, l'output di marcatori di ragionamento interno invece della giustificazione finale) e a scarse prestazioni su compiti di output diretto.

Risultati

• SFT vs. All'Avanguardia: Il Qwen3-VL-8B-Instruct affinato (Combinato) ha raggiunto un sem_sim di 0,783, superando significativamente le baseline zero-shot all'avanguardia (Claude Opus 4.7: 0,459; GPT-5.5: 0,482). Ciò rappresenta un divario assoluto di 0,30.
• Prestazioni di Parafrasi Rigorosa: Sulla soglia rigorosa di sem_sim ≥ 0,7, il Qwen affinato ha superato il 79% delle righe di test, mentre le baseline all'avanguardia ne hanno superate solo l'1–2%.
• Sensibilità del Modello Base: Gli stessi dati di addestramento e la stessa ricetta applicati a Gemma-4-26B-A4B-IT hanno portato a un sem_sim di 0,441, collocandolo nella stessa fascia di prestazioni delle baseline zero-shot all'avanguardia.
• Analisi delle Modalità di Fallimento: Il modello Gemma ha mostrato un "sanguinamento delle tracce di ragionamento", dove il 4% degli output iniziava con marcatori markdown interni (ad esempio, * Persona:, * Draft 1:) e non produceva una risposta finale, portando a rapporti di lunghezza estremi (media 4,43, massimo 457x) e a una latenza più elevata.
• Composizione dei Dati: L'aumento dei dati di addestramento da solo OPeRA (4k righe) a Combinato (13k righe) ha migliorato le prestazioni del modello Qwen da 0,519 a 0,783, con i maggiori guadagni osservati sui dati degli app store.

Significato e Affermazioni
Il documento afferma che per la simulazione comportamentale condizionata allo schermo, l'affinamento specifico per il dominio di una base vision-language piccola e a output diretto è decisamente superiore alla promptazione di modelli di ragionamento all'avanguardia.

• Efficienza: Il modello da 8B affinato opera con una latenza sub-secondo (mediana 0,79s) e a una frazione del costo di inferenza dei modelli all'avanguardia, raggiungendo al contempo una fedeltà comportamentale significativamente più elevata.
• Adattamento Architettonico: I risultati suggeriscono che le basi "affinate per il ragionamento" (come Gemma-4-IT) potrebbero richiedere metodi di affinamento più potenti (ad esempio, rank LoRA più alto, FT a parametri completi) o più dati per sovrascrivere i loro prior post-addestramento. Al contrario, i modelli con prior a output diretto (come Qwen3-VL-Instruct) sono altamente ricettivi alle ricette SFT standard.
• Riproducibilità: Sebbene il corpus PiSAR e i pesi siano proprietari, gli autori forniscono la metodologia completa, le regole di fusione dei dati e le configurazioni di addestramento, affermando che la "forma" della scommessa (10–20k registrazioni reali + base da 8B + SFT LoRA) è la chiave riproducibile del successo, piuttosto che attendere modelli all'avanguardia più grandi.

Gli autori dichiarano esplicitamente di non affermare che l'affinamento sia universalmente migliore della promptazione, né che Gemma sia un modello "cattivo". Piuttosto, sostengono che su questo compito specifico, l'interazione tra la ricetta SFT e il prior del modello base è la variabile critica, e che un disallineamento qui può rendere un modello di ragionamento da 26B meno efficace di un affinamento da 8B con un guadagno assoluto di 0,30.