Resumo Técnico: UI-MOPD

Declaração do Problema

O artigo aborda o desafio de treinar agentes de GUI unificados multiplataforma capazes de operar em ambientes heterogêneos (especificamente desktop e mobile) preservando as distintas convenções de interação de cada plataforma.

Abordagens atuais para aprendizado cross-plataforma dependem tipicamente de:

1. Agregação de Dados: Misturar sinais de supervisão heterogêneos de diferentes plataformas.
2. Fusão de Modelos (Model Merging): Médias de parâmetros de modelos especializados.
3. Treinamento Sequencial: Treinar em uma plataforma e depois na outra.

Os autores argumentam que esses métodos frequentemente falham porque as plataformas desktop e mobile, embora compartilhem capacidades fundamentais (compreensão visual, planejamento), possuem semânticas de ação e convenções de interação conflitantes (ex: a navegação "voltar" difere entre sistemas operacionais). Misturar supervisão ou tirar a média dos parâmetros tende a borrar os comportamentos nativos, levando à conflação de capacidades, desempenho desequilibrado e degradação dos priors específicos de cada plataforma. Além além disso, dados de interação cross-plataforma executáveis de alta qualidade têm sido escassos, dificultando o desenvolvimento de agentes unificados robustos.

Metodologia: UI-MOPD

Para enfrentar esses desafios, os autores propõem o UI-MOPD (Multi-Platform On-Policy Distillation), um framework que integra o conhecimento de especialistas sem realizar a média de distintas convenções de interação. A abordagem consiste em duas etapas principais:

1. Construção de Dados: Uni-GUI

Os autores construíram primeiro o Uni-GUI, um conjunto de dados de alta qualidade contendo quase 10.000 trajetórias de interação cross-plataforma executáveis.

• Coleta: Construído usando um harness unificado de desktop-mobile, coletando ~110K passos de interação de computador e ~50K de mobile.
• Processamento: Foram aplicados filtragem rigorosa, validação de trajetória e controle de qualidade para garantir ações executáveis e alinhamento preciso entre estado-ação.

2. Estrutura de Treinamento: Multi-Teacher On-Policy Distillation (MOPD)

O pipeline de treinamento envolve duas etapas:

• Etapa 1 (Treinamento do Professor): Ajuste Fino Supervisionado (SFT) de um modelo de fundação de visão-linguagem (Qwen3-VL-32B) nas partições específicas de plataforma do Uni-GUI para criar dois professores especialistas: um Professor de Desktop ($\pi^d_{ref}$) e um Professor de Mobile ($\pi^m_{ref}$).
• Etapa 2 (Treinamento do Estudante): Uma política de estudante compartilhada ($\pi_\theta$, inicializada a partir de um modelo de 8B) é treinada usando Multi-Teacher On-Policy Distillation.
  • Rollouts On-Policy: O estudante amostra rollouts de sua política atual em ambientes de plataforma mista.
  • Roteamento Condicionado à Plataforma: Cada rollout é roteado para o professor especializado na respectiva plataforma com base em seu rótulo de ambiente.
  • Ancoragem Comportamental: O professor fornece orientação apenas nos estados efetivamente visitados pelo estudante. Isso atua como uma ancoragem comportamental condicionada à plataforma, impedindo que o estudante sobrescreva padrões de interação nativos com sinais da outra plataforma.
  • Função de Perda: O objetivo de treinamento combina otimização de política com corte (estilo PPO) com uma penalidade de Divergência KL Reversa. O termo KL é computado entre o estudante e o professor roteado, não um professor unificado.
  • Mascaramento KL Adaptativo: Uma máscara de nível de grupo ($\mu$) é aplicada para remover penalidades do professor quando o feedback da tarefa (reward) já é suficiente, evitando restrições desnecessárias na exploração de rollouts de alto desempenho.

Principais Contribuições

1. Dataset Uni-GUI: A introdução de um conjunto de dados unificado de alta qualidade com ~10K trajetórias de interação cross-plataforma, abordando a escassez de dados multiplataforma executáveis.
2. Framework UI-MOPD: A primeira aplicação de Multi-Teacher On-Policy Distillation ao treinamento de agentes de GUI unificados. Ele integra de forma única expertises complementares de desktop e mobile ao usar professores condicionados à plataforma como âncoras comportamentais, em vez de tirar a média deles.
3. Avaliação Sistemática: Experimentos abrangentes demonstrando que o UI-MOPD alcança um desempenho cross-plataforma equilibrado, superando estratégias de integração com parâmetros correspondentes (SFT/RL misto, fusão de modelos, treinamento sequencial) enquanto preserva as capacidades gerais de grounding de GUI.

Resultados Experimentais

Os autores avaliaram o UI-MOPD nos benchmarks OSWorld (desktop) e MobileWorld (mobile), utilizando um modelo estudante de 8B parâmetros.

• Desempenho:
  • OSWorld: Alcançou uma taxa de sucesso de tarefa de 38,2% (um aumento relativo de 12,7% sobre o modelo base).
    • MobileWorld: Alcançou uma taxa de sucesso de tarefa de 12,0% (um aumento relativo de 55,8% sobre o modelo base).
  • Equilíbrio: O UI-MOPD alcançou a maior Média Harmônica (H-Mean) de 18,3% entre todas as estratégias de integração de 8B, igualando-se ao desempenho de um modelo muito maior de 235B parâmetros em termos de capacidade equilibrada.
• Comparações:
  • Superou estratégias como Mixed-SFT, Mixed-RL, Model Merging (Weight Averaging/TIES) e Sequential-RL.
  • Demonstrou que o uso de um único "Professor Unificado" (treinado em dados mistos) ou professores de plataforma única foi insuficiente em comparação com a abordagem de múltiplos professores roteados.
• Generalização:
  • O método preservou as capacidades gerais de grounding de GUI, mostrando melhorias ou degradação negligenciável em benchmarks estáticos como AndroidControl, ScreenSpot-Pro e OSWorld-G, enquanto outras estratégias de integração frequentemente causavam uma degradação mais ampla.

Significância e Alegações

O artigo afirma que a Multi-Teacher On-Policy Distillation fornece uma abordagem eficaz para construir agentes de GUI unificados multiplataforma. A principal significância reside na descoberta de que:

• Integração de Conhecimento Especialista: Professores específicos de plataforma fornecem supervisão complementar, não redundante. Eles atuam como âncoras estáveis que permitem que uma política compartilhada melhore a conclusão de tarefas sem apagar os priors de comportamento específicos da plataforma.
• Resolução de Conflitos: Ao rotear os rollouts para professores específicos, o método resolve o conflito entre capacidades compartilhadas e convenções de interação divergentes, evitando o efeito de "média" que assola outros métodos de integração.
• Eficiência: A abordagem permite que um único modelo de 8B alcance um desempenho equilibrado entre plataformas que tipicamente exigiriam agentes especializados separados ou modelos muito maiores, sem sacrificar a compreensão geral de GUI.

Os autores concluem que este framework estabelece um novo paradigma para o treinamento de agentes unificados em ambientes heterogêneos, movendo-se além da simples mistura de dados em direção a uma integração de conhecimento estruturada e consciente das condições.