Architecture-Sensitive Supervised Fine-Tuning for Screen-Conditioned Action Prediction: A PiSAR Benchmark

Technische Samenvatting: Architectuurgevoelige Supervised Fine-Tuning voor Actievoorspelling Gebaseerd op Scherm

Probleemstelling
Het artikel adresseert de uitdaging om gebruikersgedrag en redenering te voorspellen in scenario's die afhankelijk zijn van het scherm (bijvoorbeeld gebruik van mobiele apps). Specifiek onderzoekt het of geavanceerde zero-shot Vision-Language Models (VLM's) plausibel de intentie en redenering van een gebruiker kunnen beschrijven op basis van een schermafbeelding en een profiel, of dat taalspecifieke Supervised Fine-Tuning (SFT) vereist is om hoge gedragsfideliteit te bereiken. De auteurs stellen dat hoewel geavanceerde modellen uitgebreide pretraining en multimodale gronding bezitten, ze mogelijk het specifieke "stemgeluid" en de redeneringspatronen missen die nodig zijn voor een nauwkeurige simulatie van real-world winkel- en app-interactiegedrag.

Methodologie
De studie introduceert PiSAR (Persona, Intent, Scherm, Actie, Redenering), een proprietair corpus van 12.929 tuples gecureerd uit publieke app-store reviews, demografische gegevens van het Pew American Trends Panel en de OPeRA shopper traces. De dataconstructie volgt een "real op 2 van 3 slots"-regel, waarbij wordt gegarandeerd dat ten minste twee van de drie kerncomponenten (scherm, persona, redenering) direct worden waargenomen bij echte mensen in plaats van gesynthetiseerd.

De experimentele opzet omvat:

1. Dataset Split: Een vastgehouden slice van 661 rijen van PiSAR dient als evaluatiebenchmark.
2. Modellen:
   • Geavanceerde Zero-Shot Baselines: Claude Opus 4.7 en GPT-5.5, geëvalueerd zonder fine-tuning.
   • Gefine-tuned Modellen: Twee modellen werden gefine-tuned met een beheerde LoRA (Low-Rank Adaptation) SFT-pijplijn op Fireworks:
     • Qwen3-VL-8B-Instruct: Gefine-tuned op twee datamixes (OPeRA-only: 4.014 rijen; Gecombineerd: 13.796 rijen).
     • Gemma-4-26B-A4B-IT (MoE): Gefine-tuned op het gecombineerde dataset (13.796 rijen) met dezelfde hyperparameters als de Qwen-runs.
3. Evaluatiemetrics: Prestaties worden gemeten op dezelfde 661 rijen met behulp van:
   • Semantische Similariteit (sem_sim): Cosinus-similariteit tussen tekst-embeddings van voorspelde en gouden redeneringen (hoofdmetric).
   • Token Jaccard: Lexicale overlap.
   • Lengteverhouding: Diagnostisch voor woordigheid.
   • Drempelwaarde Pass Rates: Percentage rijen dat specifieke sem_sim-drempels (0,3, 0,5, 0,7) overschrijdt.

Belangrijkste Bijdragen

1. De PiSAR Benchmark: Een gestandaardiseerde, scherm-geankerde evaluatieslice voor voorspelling van gedragsredenering, die directe vergelijking mogelijk maakt tussen geavanceerde zero-shot modellen en gefine-tuned agents.
2. Architectuurgevoelige SFT-bevindingen: Het artikel toont aan dat de effectiviteit van SFT sterk afhankelijk is van de post-training prior van het basismodel. Een specifiek fine-tuningrecept (LoRA-rang 16, 13k voorbeelden) leverde een enorme prestatieverbetering op bij een 8B instruct-gefine-tuned model (Qwen), maar slaagde er niet in om een 26B redenering-gefine-tuned model (Gemma) verder te brengen dan de geavanceerde zero-shot baseline.
3. Diagnose van Recept-vs-Model Mismatch: De auteurs identificeren dat redenering-gefine-tuned modellen met "draft-first" of chain-of-thought post-training priors weerstand bieden tegen verdringing door standaard SFT-recepten, wat leidt tot "template bleed" (bijvoorbeeld het uitvoeren van interne redeneringsmarkeringen in plaats van de uiteindelijke redenering) en slechte prestaties op direct-output taken.

Resultaten

• SFT vs. Geavanceerd: Het gefine-tuned Qwen3-VL-8B-Instruct (Gecombineerd) behaalde een sem_sim van 0,783, wat significant beter is dan de geavanceerde zero-shot baselines (Claude Opus 4.7: 0,459; GPT-5.5: 0,482). Dit vertegenwoordigt een absoluut gat van 0,30.
• Strikte Parafraaseprestaties: Op de strikte drempel van sem_sim ≥ 0,7 haalde het gefine-tuned Qwen 79% van de testrijen, terwijl de geavanceerde baselines slechts 1–2% haalden.
• Basismodelgevoeligheid: Dezelfde trainingsdata en recept toegepast op Gemma-4-26B-A4B-IT resulteerde in een sem_sim van 0,441, wat het plaatst in dezelfde prestatieband als de geavanceerde zero-shot baselines.
• Foutmodusanalyse: Het Gemma-model vertoonde "reasoning-trace bleed", waarbij 4% van de outputs begon met interne markdown-markeringen (bijvoorbeeld * Persona:, * Draft 1:) en geen definitief antwoord produceerde, wat leidde tot extreme lengteverhoudingen (gemiddeld 4,43, maximaal 457x) en hogere latentie.
• Data-samenstelling: Het verhogen van de trainingsdata van OPeRA-only (4k rijen) naar Gecombineerd (13k rijen) verbeterde de prestaties van het Qwen-model van 0,519 naar 0,783, met de grootste winsten waargenomen op app-store data.

Betekenis en Claims
Het artikel claimt dat voor gedragsimulatie gebaseerd op het scherm, domeinrelevante fine-tuning van een klein, direct-output vision-language basismodel beslist superieur is aan het prompten van geavanceerde redeneringsmodellen.

• Efficiëntie: Het gefine-tuned 8B-model werkt met een latentie van minder dan een seconde (0,79s mediaan) en tegen een fractie van de inferentiekosten van geavanceerde modellen, terwijl het aanzienlijk hogere gedragsfideliteit bereikt.
• Architecturale Passvorm: De resultaten suggereren dat "redenering-gefine-tuned" bases (zoals Gemma-4-IT) sterkere fine-tuningmethoden (bijvoorbeeld hogere LoRA-rang, full-parameter FT) of meer data nodig hebben om hun post-training priors te overrulen. Omgekeerd zijn modellen met direct-output priors (zoals Qwen3-VL-Instruct) zeer ontvankelijk voor standaard SFT-recepten.
• Reproduceerbaarheid: Hoewel het PiSAR-corpus en de weights proprietair zijn, bieden de auteurs de volledige methodologie, datafusieregels en trainingsconfiguraties, met de stelling dat de "vorm" van de inzet (10–20k real-world records + 8B base + LoRA SFT) de reproduceerbare sleutel tot succes is, in plaats van te wachten op grotere geavanceerde modellen.

De auteurs stellen expliciet dat ze niet claimen dat fine-tuning universeel beter is dan prompting, noch dat Gemma een "slecht" model is. In plaats daarvan betogen ze dat bij deze specifieke taak de interactie tussen het SFT-recept en de prior van het basismodel de kritieke variabele is, en dat een mismatch hier een 26B redeneringsmodel minder effectief kan maken dan een fine-tuning van 8B met een absoluut winst van 0,30.