Resumo Técnico: Confie no Professor Certo: Autodestilação com Consciência de Qualidade para Grounding de GUI

1. Declaração do Problema

O grounding de Interface Gráfica do Usuário (GUI) exige que Modelos de Linguagem-Visão (VLMs) identifiquem elementos de interface específicos em capturas de tela de alta resolução e prevejam coordenadas de tela precisas. Esta tarefa é particularmente desafiadora devido ao tamanho pequeno, semelhança visual e arranjo denso dos elementos alvo.

Os métodos de pós-treinamento existentes enfrentam limitações significativas neste domínio sensível a coordenadas:

• Ajuste Fino Supervisionado (SFT): Trata as coordenadas anotadas como alvos rígidos (hard targets), fornecendo pouca informação além da resposta final e falhando em explorar a incerteza do professor ou o "conhecimento obscuro" (dark knowledge) em relação aos tokens de coordenadas plausíveis.
• Aprendizado por Reforço (ex: GRPO): Otimiza os resultados da tarefa, mas depende de recompensas esparsas e múltiplos rollouts, oferecendo uma orientação fraca para localização de grão fino.
• Autodestilação On-Policy Ingênua (OPSD): Embora promissora por fornecer sinais densos de nível de token do professor, a OPSD ingênua é inadequada para o grounding de GUI. Na OPSD, o professor é consultado sobre prefixos gerados pelo estudante. Se o estudante gerar um prefixo incorreto (uma hipótese espacial errada), os logits subsequentes do professor podem se tornar uma continuação plausível de uma coordenada errada, em vez de um sinal em direção ao alvo real. Isso leva a sinais do professor não confiáveis que degradam o desempenho.

2. Metodologia: Autodestilação com Consciência de Qualidade

Os autores propõem a Autodestilação com Consciência de Qualidade, um método que calibra a supervisão de tokens de coordenadas aproveitando a verificabilidade espacial do grounding de GUI. A abordagem combina dois mecanismos complementares: Portão de Correção Suave (Soft Correctness-Aware Gating) e Escalonamento de Probabilidade do Professor.

2.1 Construção de Informação Privilegiada

Seguindo o trabalho anterior (GUI-SD), o método constrói um input privilegiado do professor $(x^+, I^+)$ onde a região alvo é visualmente destacada e as regiões irrelevantes para a tarefa são suprimidas via máscara regional preservadora de layout. O estudante é condicionado ao input original $(x, I)$, enquanto o professor é condido ao input privilegiado $(x^+, I^+)$ para gerar sinais.

2.2 Portão de Correção Suave

Este mecanismo aborda a questão do professor fornecer continuações plausíveis, mas incorretas, baseadas em um prefixo falho do estudante.

• Verificação: Para uma posição de token de coordenada $t$, o método verifica se o token de coordenada mais predito pelo professor ($d^*_t$) ainda pode ser completado em uma coordenada válida dentro do intervalo da caixa delimitadora (bounding box) de verdade fundamental ($B_{a(t)}$) dado o prefixo atual gerado pelo estudante.
• Indicador Binário: Um indicador binário $h_t$ é definido como 1 se a conclusão for possível (compatível) e 0 caso contrário (incompatível).
• Portão Suave (Soft Gating): Em vez de descartar sinais incompatíveis inteiramente (portão rígido), o método aplica um portão suave $g_t = \alpha + (1-\alpha)h_t$.
  • Se compatível ($h_t=1$), $g_t = 1$.
  • Se incompatível ($h_t=0$), $g_t = \alpha$ (definido como 0,5 nos experimentos).
  • Isso reduz o peso de sinais não confiáveis em vez de eliminá-los, preservando informações corretivas potencialmente úteis enquanto reduz a influência negativa.

2.3 Escalonamento de Probabilidade do Professor

O portão de correção sozinho não leva em conta a confiança do professor. Dois sinais podem passar pelo portão, mas um pode ser altamente confiante enquanto o outro está próximo de uma fronteira de decisão.

• Fator de Escalonamento: O método utiliza a probabilidade do professor para a previsão do token de coordenada superior, $p_t = P^t_T(d^*_t)$, como um fator de escalonamento.
• Mecanismo: Uma $p_t$ mais alta (maior confiança) resulta em um peso de destilação mais forte, enquanto uma $p_t$ mais baixa (maior incerteza) suaviza o sinal. Isso garante que mesmo sinais espacialmente compatíveis sejam ponderados de acordo com sua confiabilidade.

2.4 Objetivo Reverse-KL Ponderado

A função de perda final combina esses fatores em um peso de nível de token $w_t$:
$$w_t = (1 - r_t) + r_t \cdot g_t \cdot \lambda \cdot p_t$$
Onde $r_t$ é um indicador para tokens de coordenada, $\lambda$ é um coeficiente de escala (definido como 3), e $g_t$ é o portão suave.

• Tokens que não são de coordenada são destilados com peso 1.
• Tokens de coordenada compatíveis são ponderados por $\lambda p_t$.
• Tokens de coordenada incompatíveis são ponderados por $\alpha \lambda p_t$.

3. Principais Contribuições

1. Autodestilação com Consciência de Qualidade: Um novo método para grounding de GUI que calibra os sinais do professor com base em sua confiabilidade (compatibilidade espacial) e certeza (probabilidade), em vez de tratar todos os sinais do professor como igualmente dignos de confiança.
2. Estudo Empírico da Confiabilidade do Sinal: O artigo utiliza a natureza espacialmente verificável do grounding de GUI para estudar empiricamente como sinais não confiáveis do professor devem ser tratados em autodestilação on-policy, demonstrando que uma estratégia de redução de peso suave é superior ao descarte rígido ou imitação cega.
3. Mecanismos Complementares: Os autores demonstram que nem o portão suave nem o escalonamento de probabilidade sozinhos melhoram o desempenho; sua combinação é necessária. O portão suprime sinais não confiáveis, enquanto o escalonamento calibra a força dos sinais confiáveis restantes.

4. Resultados Experimentais

Experimentos foram conduzidos em seis benchmarks de grounding de GUI (ScreenSpot-Pro, ScreenSpot-v2, UIEG, OSWorld-G, OSWorld-G-R e MMG) usando Qwen3.5-9B como backbone.

• Desempenho: O método proposto alcançou uma acurácia média macro de 72,23, superando o baseline mais forte (GUI-SD) em 2,16 pontos.
• Comparações: Superou significativamente o SFT (+4,14 pontos) e o GRPO (+6,37 pontos), bem como a OPSD Ingênua e o baseline Vision-PV-Only.
• Estudos de Ablação:
  • Sinergia de Componentes: O uso apenas de portão ou apenas de escalonamento resultou em desempenho inferior ao baseline, confirmando seus papros complementares.
  • Força do Portão: O portão suave ($\alpha=0,5$) superou o portão rígido ($\alpha=0$), sugerindo que o descarte completo de sinais de portão falho remove orientação corretiva valiosa.
  • Coeficiente de Escalonamento: Um coeficiente de escalonamento $\lambda=3$ produziu resultados ótimos, equilibrando a supressão de sinais não confiáveis com a necessidade de supervisão suficiente em tokens confiáveis.

5. Significância e Alegações

O artigo afirma que a verificabilidade espacial é um sinal crítico e subutilizado para melhorar a confiabilidade do sinal do professor na autodestilação. Diferente de tarefas gerais de previsão de tokens onde a confiabilidade é inferida através de proxies indiretos (entropia, perplexidade), o grounding de GUI permite a verificação direta de se uma previsão permanece viável dadas as restrições de verdade fundamental.

Os autores argumentam que seu método representa uma mudança da "imitação cega" para a "imitação confiável". Ao reduzir suavemente o peso e escalar os sinais do professor com base em sua compatibilidade com a região alvo e a confiança do professor, o método mitiga o risco de reforçar hipóteses espaciais incorretas, preservando os sinais de aprendizado densos e de grão fino que tornam a autodestilação eficaz. O trabalho sugere que, para tarefas com restrições verificáveis, estratégias de destilação conscientes da confiabilidade podem aumentar significativamente o desempenho do modelo sem exigir configurações complexas de aprendizado por reforço.