Architecture-Sensitive Supervised Fine-Tuning for Screen-Conditioned Action Prediction: A PiSAR Benchmark

Resumo Técnico: Ajuste Fino Supervisionado Sensível à Arquitetura para Previsão de Ação Condicionada à Tela

Declaração do Problema
O artigo aborda o desafio de prever o comportamento e o raciocínio do usuário em cenários condicionados à tela (por exemplo, uso de aplicativos móveis). Especificamente, investiga-se se modelos de Visão-Linguagem (VLMs) de ponta com capacidade zero-shot podem descrever plausivelmente a intenção e o raciocínio de um usuário, dada uma captura de tela e um perfil de persona, ou se é necessário um Ajuste Fino Supervisionado (SFT) específico para a tarefa para alcançar alta fidelidade comportamental. Os autores postulam que, embora os modelos de ponta possuam pré-treinamento amplo e fundamentação multimodal, eles podem carecer da "voz" específica e dos padrões de raciocínio necessários para uma simulação precisa de comportamentos reais de compras e interação com aplicativos.

Metodologia
O estudo introduz o PiSAR (Persona, Intenção, Tela, Ação, Raciocínio), um corpus proprietário de 12.929 tuplas curadas a partir de avaliações públicas de lojas de aplicativos, dados demográficos do Painel de Tendências Americanas da Pew e rastros de compradores do OPeRA. A construção dos dados segue a regra "real em 2 de 3 slots", garantindo que pelo menos dois dos três componentes principais (tela, persona, raciocínio) sejam observados diretamente de humanos reais, em vez de sintetizados.

A configuração experimental envolve:

1. Divisão do Conjunto de Dados: Um fatia retida de 661 linhas do PiSAR serve como benchmark de avaliação.
2. Modelos:
   • Baselines Zero-Shot de Ponta: Claude Opus 4.7 e GPT-5.5, avaliados sem ajuste fino.
   • Modelos Ajustados: Dois modelos foram ajustados finamente utilizando um pipeline gerenciado de SFT com LoRA (Adaptação de Baixo Rank) na Fireworks:
     • Qwen3-VL-8B-Instruct: Ajustado em duas misturas de dados (apenas OPeRA: 4.014 linhas; Combinado: 13.796 linhas).
     • Gemma-4-26B-A4B-IT (MoE): Ajustado no conjunto de dados Combinado (13.796 linhas) usando os mesmos hiperparâmetros das execuções do Qwen.
3. Métricas de Avaliação: O desempenho é medido nas mesmas 661 linhas usando:
   • Semelhança Semântica (sem_sim): Semelhança de cosseno entre os embeddings de texto dos raciocínios previstos e os de referência (métrica principal).
   • Jaccard de Tokens: Sobreposição lexical.
   • Razão de Comprimento: Diagnóstico para verbosidade.
   • Taxas de Aprovação por Limiar: Porcentagem de linhas que excedem limiares específicos de sem_sim (0,3, 0,5, 0,7).

Principais Contribuições

1. O Benchmark PiSAR: Uma fatia de avaliação padronizada e ancorada na tela para previsão de raciocínio comportamental, permitindo comparação direta entre modelos zero-shot de ponta e agentes ajustados finamente.
2. Descobertas de SFT Sensível à Arquitetura: O artigo demonstra que a eficácia do SFT é altamente dependente do prior pós-treinamento do modelo base. Uma receita específica de ajuste fino (rank LoRA 16, 13 mil exemplos) produziu um aumento massivo de desempenho em um modelo instruído de 8B (Qwen), mas falhou em mover um modelo de raciocínio ajustado de 26B (Gemma) além da baseline zero-shot de ponta.
3. Diagnóstico de Incompatibilidade Receita-vs-Modelo: Os autores identificam que modelos ajustados para raciocínio com priores pós-treinamento do tipo "rascunho primeiro" ou cadeia de pensamento resistem ao deslocamento por receitas padrão de SFT, levando ao "vazamento de modelo" (por exemplo, emitir marcadores de raciocínio interno em vez do raciocínio final) e a baixo desempenho em tarefas de saída direta.

Resultados

• SFT vs. Ponta: O Qwen3-VL-8B-Instruct ajustado (Combinado) alcançou um sem_sim de 0,783, superando significativamente as baselines zero-shot de ponta (Claude Opus 4.7: 0,459; GPT-5.5: 0,482). Isso representa uma lacuna absoluta de 0,30.
• Desempenho de Paráfrase Estrita: No limiar estrito de sem_sim ≥ 0,7, o Qwen ajustado passou 79% das linhas de teste, enquanto as baselines de ponta passaram apenas 1–2%.
• Sensibilidade ao Modelo Base: Os mesmos dados de treinamento e a mesma receita aplicados ao Gemma-4-26B-A4B-IT resultaram em um sem_sim de 0,441, posicionando-o na mesma faixa de desempenho das baselines zero-shot de ponta.
• Análise do Modo de Falha: O modelo Gemma exibiu "vazamento de rastro de raciocínio", onde 4% das saídas começavam com marcadores internos de markdown (por exemplo, * Persona:, * Rascunho 1:) e falhavam em produzir uma resposta final, levando a razões de comprimento extremas (média 4,43, máximo 457x) e maior latência.
• Composição dos Dados: O aumento dos dados de treinamento de apenas OPeRA (4 mil linhas) para Combinado (13 mil linhas) melhorou o desempenho do modelo Qwen de 0,519 para 0,783, com os maiores ganhos observados em dados de lojas de aplicativos.

Significado e Alegações
O artigo afirma que, para simulação comportamental condicionada à tela, o ajuste fino relevante para o domínio de uma base pequena de visão-linguagem com saída direta é decisivamente superior ao uso de prompts em modelos de raciocínio de ponta.

• Eficiência: O modelo ajustado de 8B opera com latência subsegundo (mediana de 0,79s) e a uma fração do custo de inferência dos modelos de ponta, enquanto alcança fidelidade comportamental significativamente maior.
• Adequação Arquitetural: Os resultados sugerem que bases "ajustadas para raciocínio" (como Gemma-4-IT) podem exigir métodos de ajuste fino mais fortes (por exemplo, rank LoRA mais alto, FT de parâmetros completos) ou mais dados para sobrepor seus priores pós-treinamento. Por outro lado, modelos com priores de saída direta (como Qwen3-VL-Instruct) são altamente receptivos a receitas padrão de SFT.
• Reprodutibilidade: Embora o corpus PiSAR e os pesos sejam proprietários, os autores fornecem a metodologia completa, as regras de fusão de dados e as configurações de treinamento, afirmando que a "forma" da aposta (10–20 mil registros do mundo real + base de 8B + SFT com LoRA) é a chave reproduzível para o sucesso, em vez de esperar por modelos de ponta maiores.

Os autores afirmam explicitamente não alegar que o ajuste fino é universalmente melhor do que o uso de prompts, nem que o Gemma seja um modelo "ruim". Em vez disso, argumentam que, nesta tarefa específica, a interação entre a receita de SFT e o prior do modelo base é a variável crítica, e que uma incompatibilidade aqui pode tornar um modelo de raciocínio de 26B menos eficaz do que um ajuste fino de 8B com ganho absoluto de 0,30.