Resumo Técnico: LEARNWEAK – Aprender com Fraquezas para Especialização Automatizada de Domínio

Declaração do Problema

Agentes de uso de computador (CUAs) avançaram significativamente, contudo, uma lacuna substancial de desempenho permanece entre modelos proprietários grandes e modelos de código aberto pequenos, ajustados para tarefas de uso de computador. Embora modelos pequenos ofereçam vantagens em custo, latência e privacidade para implantação na borda, eles lutam em ambientes de software específicos de domínio (por exemplo, LibreOffice, VSCode) devido a convenções e fluxos de trabalho únicos.

As abordagens existentes para preencher essa lacuna enfrentam dois desafios principais:

1. Geração de Dados: Coletar trajetórias humanas é custoso. Métodos automatizados de geração de trajetórias frequentemente produzem dados que são "agnósticos a fraquezas", falhando em visar as deficiências específicas do modelo estudante, levando a um treinamento ineficiente.
2. Objetivos de Treinamento: O ajuste fino ingênuo em conjuntos de dados amplos pode causar esquecimento catastrófico ou distorcer os padrões de raciocínio nativos do agente. Além disso, o treinamento padrão frequentemente trata todos os erros uniformemente, falhando em distinguir entre erros de planejamento (seleção incorreta de ação) e erros de execução (parâmetros ou coordenadas incorretos), que exigem sinais corretivos diferentes.

Metodologia: LEARNWEAK

Os autores propõem o LEARNWEAK, um framework totalmente automatizado e livre de anotações para especialização de domínio que opera em duas etapas acopladas: Geração de Dados Consciente de Fraquezas (LEARNWEAK-GEN) e Treinamento de Agente Consciente de Erros (LEARNWEAK-DPO).

1. Geração de Dados Consciente de Fraquezas (LEARNWEAK-GEN)

Esta etapa constrói um conjunto de dados de treinamento direcionado identificando e abordando iterativamente as falhas específicas do modelo estudante sem anotação humana.

• Comparação Professor-Aluno: Uma política "professora" mais forte ($\pi_T$) e a política "estudante" ($\pi_S$) executam tarefas no mesmo ambiente. Um verificador identifica tarefas onde o professor tem sucesso mas o estudante falha ($v_T=1, v_S=0$).
• Resumo de Fraquezas: Os diagnósticos do verificador para as falhas do estudante são resumidos em um relatório de fraquezas ($R_d$), capturando modos de falha recorrentes (por exemplo, localização incorreta de elementos, argumentos inválidos).
• Síntese de Consultas Guiada por Captura de Tela: Um gerador de tarefas sintetiza novas consultas para a próxima iteração com base em:
  • Síntese focada em fraquezas: Tarefas condicionadas ao relatório de fraquezas para visar deficiências identificadas.
  • Síntese focada em exploração: Tarefas condicionadas apenas a capturas de tela representativas para garantir a cobertura de funcionalidades não exploradas.
• Processo Iterativo: Este ciclo se repete por $N$ iterações, deslocando a distribuição de tarefas em direção a fraquezas não resolvidas, mantendo a diversidade.

2. Treinamento de Agente Consciente de Erros (LEARNWEAK-DPO)

Esta etapa especializa o estudante usando Otimização de Preferência Direta (DPO) com uma estratégia inovadora de mascaramento consciente de erros.

• Construção de Preferência em Nível de Etapa: Em vez de tratar trajetórias inteiras como unidades únicas, o método reproduz a trajetória bem-sucedida do professor passo a passo. Em cada etapa, a política do estudante é consultada com o contexto do professor. Pares de preferência são construídos apenas para etapas onde a execução da ferramenta do estudante difere da do professor.
• Desemaranhamento de Tipo de Erro: As falhas são classificadas em dois tipos:
  • Erros de Planejamento ($\epsilon_{PLAN}$): O estudante escolhe um tipo de função ($f_t$) diferente do professor.
  • Erros de Execução ($\epsilon_{EXEC}$): O estudante escolhe o mesmo tipo de função, mas com parâmetros incorretos ($p_t$).
• Objetivo DPO Mascaramento: A perda de treinamento aplica uma máscara binária às posições dos tokens. Crucialmente, para erros de planejamento, a perda é aplicada tanto aos tokens de raciocínio quanto aos de ação; para erros de execução, foca nos parâmetros da ação. Isso garante que as atualizações sejam comportamentalmente precisas, visando o tipo específico de erro em vez de reaprender toda a sequência.
• Escalabilidade Modular: A especialização de domínio é alcançada congelando o estudante base e treinando adaptadores LoRA leves ($\Delta_d$) para cada domínio, permitindo que um único modelo base sirva múltiplos agentes especializados.

Contribuições Principais

1. Framework de Especialização Livre de Anotações: O LEARNWEAK elimina a necessidade de anotação humana de trajetórias ao usar um loop professor-aluno para sintetizar automaticamente dados de treinamento direcionados.
2. Geração de Dados Consciente do Estudante: Ao contrário de métodos anteriores de geração autônoma que focam em volume ou diversidade, o LEARNWEAK condiciona explicitamente a geração de consultas aos padrões de falha observados do estudante, garantindo alto valor informativo por amostra.
3. Objetivo de Treinamento Consciente de Erros: O artigo introduz uma variante DPO que desemaranha erros de planejamento e execução, aplicando máscaras de supervisão seletivas para atualizar apenas os intervalos comportamentais relevantes.
4. Adaptação de Domínio Modular: O framework demonstra uma abordagem escalável para lidar com múltiplos domínios via adaptadores LoRA, evitando a necessidade de ajustes finos completos de modelos separados.

Resultados Experimentais

O framework foi avaliado em 8 domínios dentro do benchmark OSWorld usando EvoCUA-8B e OpenCUA-7B como modelos estudantes base.

• Ganhos de Desempenho: O LEARNWEAK alcançou melhorias médias na taxa de sucesso de 11,6% (EvoCUA-8B) e 11,1% (OpenCUA-7B) em todos os domínios.
• Superando o Professor: Em vários domínios (Gimp, Thunderbird, VSCode), o estudante pequeno especializado superou o modelo professor de 32B, sugerindo que a supervisão corretiva direcionada pode ser mais eficaz do que a simples imitação de um modelo maior.
• Comparação com Baselines:
  • O LEARNWEAK superou conjuntos de dados validados por humanos existentes (AgentNet) e baselines zero-shot.
  • Superou significativamente outras pipelines de geração sem anotação (AgentSynth, OS-Genesis, ZeroGUI) e métodos de filtragem (WebSTAR), confirmando que visar fraquezas é superior à expansão genérica de dados.
  • Estudos de ablação mostraram que remover o relatório de fraquezas ou o processo de geração iterativa resultou em desempenho inferior, validando a necessidade de orientação consciente do estudante.
  • O objetivo DPO consciente de erros superou o SFT padrão e o DPO padrão por uma margem significativa (9,62 pontos percentuais em média).

Significado e Alegações

O artigo argumenta que a especialização de domínio eficiente para pequenos CUAs depende não da escala do volume de dados sintéticos, mas de identificar e reparar fraquezas específicas do estudante. Ao deslocar o foco da generalização ampla para a correção direcionada, o LEARNWEAK fornece um caminho principiado para estreitar a lacuna de desempenho entre modelos abertos pequenos e agentes proprietários grandes.

Os autores afirmam que essa abordagem torna agentes pequenos e especializados uma opção de implantação mais prática para ambientes de software do mundo real, particularmente onde privacidade e custo são restrições. O trabalho destaca a importância da "consciência do estudante" tanto na síntese de dados quanto nos objetivos de treinamento, sugerindo que pesquisas futuras devem priorizar a aprendizagem adaptativa e impulsionada por falhas em vez da escala estática de conjuntos de dados.

Limitações Reconhecidas pelos Autores:

• O framework assume a disponibilidade de um modelo professor razoavelmente confiável; se o professor for instável ou tendencioso, a supervisão pode herdar esses erros.
• Assume que o modelo estudante base já possui habilidades fundamentais de uso de computador (fundamentação visual, geração de ação). Não foi projetado para ensinar essas capacidades do zero a modelos que não as possuem.