Resumo Técnico: WinDOM: Self-Family Distillation para Grounding de GUI em Modelos Pequenos

Definição do Problema

O artigo aborda o desafio de desenvolver agentes de grounding de GUI eficazes em uma escala de parâmetros pequena (~2B), o que é crítico para implantação em dispositivos, ferramentas de acessibilidade e iteração de baixo custo. Nesta escala, existem dois gargalos primários:

1. Escassez de Dados: Obter dados de treinamento de bounding-box de alta qualidade normalmente requer anotação humana cara ou depende de alternativas mineradas por OCR que introduzem ruído nos rótulos.
2. Ambiguidade da Receita de Treinamento: Não há consenso sobre como combinar o Ajuste Fino Supervisionado (SFT) com o Aprendizado por Reforço (RL). As abordagens existentes ou pulam o SFT inteiramente ou inicializam o RL a partir de um checkpoint de SFT totalmente convergido. Os autores postulam que a profundidade de saturação da inicialização do SFT, em vez de sua mera presença, é a alavanca crítica para o desempenho.

Além disso, o grounding confiável é enquadrado como um pré-requisito de segurança; um modelo que não consegue localizar o controle pretendido não pode ser restringido a ele, levando a falhas de segurança downstream onde os agentes clicam em elementos de UI não pretendidos e potencialmente prejudiciais.

Metodologia

O pipeline proposto consiste em três componentes principais: um novo corpus de dados, uma estratégia de cold-start de destilação unificada e um regime específico de inicialização de RL.

1. Coleta de Dados: WinDOM

Os autores introduzem o WinDOM, um corpus de grounding de 54.425 registros.

• Geração: O dataset é colhido ao conduzir uma reimplementação open-source do Windows 11 (Win11React) de forma headless usando Playwright.
• Anotação: As bounding boxes são lidas diretamente dos retângulos de layout do Document Object Model (DOM). Isso elimina a necessidade de OCR ou anotação humana.
• Conteúdo: O corpus inclui 500 trajetórias, 2.013 screenshots e instruções geradas por um pequeno modelo de linguagem visual (Gemini 2.5 Flash) condicionadas ao screenshot recortado e atributos do DOM (papéis ARIA, nomes).
• Verificação: Uma segunda passagem de linguagem visual classifica os candidatos como manter, editar ou rejeitar, com limpeza geométrica para remover boxes degeneradas.

2. Pipeline de Treinamento

O processo de treinamento envolve uma fase de cold-start seguida por Group Relative Policy Optimization (GRPO).

Fase 1: Self-Family Distillation (SFD) Cold-Start
Os autores propõem a Self-Family Distillation (SFD), um algoritmo de amostragem de rejeição parametrizado apenas pela escolha do professor. Ele unifica dois modos:

• Modo Same-size (EMA): O professor é uma Média Móvel Exponencial (EMA) do próprio aluno. Nenhum modelo externo é necessário.

• Modo Cross-size: O professor é um modelo maior, da mesma família, congelado (ex: um modelo de 4B para um aluno de 2B).

• Mecanismo: O professor recebe o screenshot mais uma dica de bounding box ground-truth com jitter. Ele gera uma ação candidata. O rollout é aceito apenas se o clique previsto cair dentro da bounding box ground-truth. Rollouts aceitos supervisionam o aluno via perda de destilação forward-KL.

• Profundidade de Saturação como Hiperparâmetro: Os autores tratam a "profundidade de saturação" deste cold-start como um hiperparâmetro explícito. Eles comparam o Early-init (parando o SFD antes da convergência, ex: passo 100) contra o Late-init (parando após a convergência, ex: passo 900).

Fase 2: Reinforcement Learning (GRPO)
O modelo é inicializado a partir de um checkpoint selecionado de SFD e ajustado usando GRPO.

• Recompensa: Uma função de recompensa determinística e verificável baseada em um check gaussiano de clique dentro da bounding box. Não utiliza um modelo de recompensa aprendido ou um juiz LLM.
• Vantagem: Vantagens relativas ao grupo são computadas sobre um batch de rollouts para o mesmo prompt.

Principais Contribuições

1. Corpus WinDOM: Um dataset de 54k registros com bounding boxes derivadas diretamente do layout do DOM, sem necessidade de OCR ou anotação humana, liberado com um script de regeneração determinístico.
2. Self-Family Distillation (SFD): Um cold-start de amostragem de rejeição unificado que suporta tanto o modo sem professor (EMA) quanto o modo cross-size (modelo maior congelado). A variante EMA alcança desempenho dentro de ~1 ponto de média OOD do variante 4B do professor sem computação externa.
3. Profundidade de Cold-Start como Hiperparâmetro: O artigo demonstra que inicializar o RL a partir de um checkpoint de SFD sub-saturado (precoce) produz uma generalização Out-of-Distribution (OOD) significativamente melhor do que inicializar a partir de um checkpoint convergido (tardio).

Resultados Experimentais

Experimentos foram conduzidos utilizando o Qwen3.5-2B como modelo aluno.

• Ganhos de Desempenho: A melhor configuração (SFD-4B com Early-init RL) alcançou:
  • +5.4 pontos na média OOD (média de ScreenSpot-Pro, OSWorld-G e ScreenSpot-V2) em comparação com o Qwen3.5-2B base.
  • +3.5 pontos no ScreenSpot-Pro (55.7% vs 52.2%).
  • +7.0 pontos no OSWorld-G (54.5% vs 47.5%).
  • +5.8 pontos no ScreenSpot-V2 (88.8% vs 83.0%).
• Comparação de Regimes:
  • Late-init RL: Manteve alta acurácia in-distribution, mas falhou em melhorar o desempenho OOD, frequentemente revertendo aos níveis base.
  • Early-init RL: Sacrificou alguns pontos de acurácia in-distribution, mas desbloqueou ganhos significativos de OOD.
• Modos SFD: O modo same-size EMA (65.2 média OOD) performou quase identicamente ao modo cross-size 4B (66.3 média OOD), validando a abordagem sem professor.
• Hipótese: Os autores sugerem que o "colapso de entropia" em cold-starts saturados impede o GRPO de refinar comportamentos OOD, pois a política torna-se muito determinística para gerar rollouts diversos para estimativa de vantagem.

Significância e Alegações

O artigo afirma fornecer uma receita para fazer modelos pequenos (2B) de grounding funcionarem efetivamente em screenshots OOD sem anotação humana cara ou modelos grandes externos.

• Auditabilidade: Uma alegação central é que todo o canal de supervisão (filtro SFD e recompensa GRPO) é um único check determinístico de ponto-na-caixa. Isso torna o processo de treinamento barato de auditar e reproduzir, já que os rótulos são derivados do renderer do DOM, em vez de avaliadores humanos ou OCR.
• Implicações de Segurança: Os autores enfatizam que o grounding confiável é um pré-requisito para a segurança. Um agente que não consegue localizar o controle correto não pode ser restringido a ele. No entanto, eles declaram explicitamente que a política treinada não é alegada ser segura para implantação não supervisionada, robusta a UI adversária ou alinhada contra ações prejudiciais; a contribuição é estritamente para a auditabilidade do canal de supervisão e a capacidade de grounding do modelo.
• Escalabilidade: A abordagem é projetada especificamente para modelos pequenos (2B) para permitir iteração em dispositivos e de baixo custo, contrastando com abordagens de escalonamento (scaling-up).

O artigo conclui que o DOM do navegador serve como uma fonte gratuita e densa de rótulos de grounding, e que controlar a profundidade de saturação do cold-start é uma alavanca crítica, anteriormente subutilizada, para melhorar a transferência de RL em agentes de GUI.