CAPTCHA Solving for Native GUI Agents: Automated Reasoning-Action Data Generation and Self-Corrective Training

Resumo Técnico: ReCAP – Agentes Nativos de GUI com Capacidade de Resolução de CAPTCHA

1. O Problema

Os agentes de Interface Gráfica do Usuário (GUI) estão evoluindo de pipelines de múltiplos módulos para modelos de visão-linguagem (VLMs) nativos e de ponta a ponta, capazes de perceber capturas de tela brutas e interagir diretamente com dispositivos digitais. Embora esses agentes tenham avançado em tarefas gerais de GUI (como navegação na web e controle de desktop), eles enfrentam dificuldades significativas na resolução de CAPTCHAs (Completely Automated Public Turing test to tell Computers and Humans Apart).

As principais lacunas identificadas são:

• Falta de Habilidades Específicas: Os agentes gerais carecem de habilidades complementares essenciais para CAPTCHAs modernos, como OCR robusto sob ruído e estilização de texto, compreensão visual de alta granularidade e controle de movimento preciso.
• Limitação de Soluções Especializadas: Pipelines existentes para resolver CAPTCHAs são eficazes apenas em tarefas específicas, mas não conseguem generalizar para tarefas de GUI mais amplas.
• Falta de Dados e Treinamento: Não há pesquisas sistemáticas públicas sobre como treinar agentes nativos de GUI para internalizar a resolução de CAPTCHA como uma habilidade geral, devido à escassez de dados de treinamento diversificados e dinâmicos.

2. Metodologia

Os autores propõem o ReCAP, um agente nativo de GUI capaz de resolver desafios interativos modernos de CAPTCHA, mantendo alto desempenho em tarefas gerais. A abordagem baseia-se em três pilares principais:

A. Sistema Dinâmico de CAPTCHA
Para superar a falta de diversidade nos conjuntos de dados existentes, os autores desenvolveram um sistema de geração procedural que cobre sete tipos representativos de CAPTCHA:

1. Texto e Texto Compacto (foco em OCR sob ruído e distorção).
2. Correspondência de Ícones e Seleção de Ícones (foco em localização espacial e semântica).
3. Paginado (foco em memória de curto prazo e planejamento sequencial).
4. Slider (foco em controle contínuo e alinhamento visual).
5. Grade de Imagens (foco em classificação visual de conjunto aberto e interações multi-etapa).

O sistema utiliza renderização estocástica (variação aleatória de CSS, layouts, cores e fontes) e um banco de ativos visuais diversificado para gerar um espaço de CAPTCHAs efetivamente ilimitado, evitando o overfitting em layouts fixos.

B. Pipeline de Geração de Dados Automatizada
O pipeline gera grandes volumes de trajetórias de interação com duas modalidades de dados:

• Trajetórias de Solução com Raciocínio (CoT): Um modelo especialista (VLM de ponta) gera trajetórias de sucesso acompanhadas de "traces" de raciocínio (Chain-of-Thought). O modelo é instruído a raciocinar como se não conhecesse a resposta, mas é guiado pela ground truth para garantir que as ações finais estejam corretas. Isso ensina o agente por que uma ação é tomada, não apenas o que fazer.
• Trajetórias de Auto-correção: O sistema utiliza tentativas falhas de um modelo estudante. Quando uma tentativa falha, um modelo especialista analisa o erro retrospectivamente, identifica a causa da falha e gera uma trajetória de correção. Isso treina o agente a refletir sobre erros e ajustar suas ações online.

C. Paradigma de Treinamento

• Objetivo de Perda Unificado: Como as sequências de raciocínio são muito mais longas que as sequências de ação, os autores utilizam uma função de perda ponderada. A perda total ($L_{total}$) atribui pesos iguais ($\lambda_{think} = \lambda_{act} = 0.5$) aos tokens de raciocínio e de ação, garantindo que o modelo não negligencie a precisão das interações em favor da geração de texto.
• Saídas Multi-Ação: O modelo é treinado para emitir múltiplas ações de GUI em uma única resposta quando necessário (ex: clicar e arrastar sequencialmente), reduzindo a latência e o número de chamadas ao modelo.

3. Principais Contribuições

1. ReCAP Agent: A introdução de um agente nativo de GUI que integra a resolução de CAPTCHA como uma habilidade fundamental, sem sacrificar a capacidade de realizar tarefas gerais de GUI.
2. Sistema de Geração de Dados Dinâmico: Uma infraestrutura escalável que gera dados sintéticos ilimitados e diversificados, cobrindo os primitivos de interação essenciais para CAPTCHAs modernos.
3. Mecanismo de Auto-correção: Uma nova abordagem de curadoria de dados que utiliza falhas de treinamento para criar exemplos de correção, melhorando significativamente a robustez do agente.
4. Avaliação Abrangente: Benchmarks tanto em um sistema sintético dinâmico quanto em um conjunto de dados do mundo real (incluindo reCAPTCHA, hCAPTCHA, GeeTest, etc.), demonstrando a transferência de habilidades.

4. Resultados Experimentais

Os modelos ReCAP (baseados em Qwen3-VL-8B e Qwen3-VL-32B) foram avaliados contra agentes gerais (como UI-TARS, OpenAI CUA) e frameworks especializados (Halligan).

• Desempenho em CAPTCHA Sintético:

  • O ReCAP-32B alcançou uma taxa de sucesso global de 81,00%, comparado a ~30% para agentes gerais e frameworks especializados.
  • Houve melhorias drásticas em tarefas que exigem controle contínuo e raciocínio espacial (ex: Slider, Icon Match), onde os agentes gerais falhavam frequentemente.
  • Eficiência: O ReCAP-32B resolveu os desafios com uma média de 1,54 passos (chamadas de modelo), enquanto agentes gerais e o Halligan exigiram entre 2 a 5+ passos, resultando em latência muito menor.

• Transferência para o Mundo Real (Zero-Shot):

  • Em um benchmark de 26 variantes de CAPTCHA do mundo real (sem treinamento específico nesses dados), o ReCAP-32B superou consistentemente os baselines, alcançando os melhores ou segundos melhores resultados em desafios complexos como reCAPTCHA v2 e hCAPTCHA.
  • O modelo demonstrou capacidade de generalização para variantes não vistas durante o treinamento.

• Preservação de Habilidades Gerais:

  • Ao contrário de modelos menores (ReCAP-8B), que sofreram degradação em tarefas gerais devido à interferência representacional, o ReCAP-32B manteve ou até melhorou ligeiramente seu desempenho em benchmarks gerais de GUI (Android Control, ScreenSpot-V2, Multimodal-Mind2Web), provando que a supervisão específica de CAPTCHA pode ser absorvida sem prejudicar capacidades gerais.

• Estudos de Ablação:

  • A adição de dados de raciocínio (CoT) aumentou a taxa de sucesso de 66,4% para 71,9% (no modelo 8B).
  • A adição de dados de auto-correção foi crucial, elevando a taxa de sucesso de 62,9% para 71,9%, com ganhos particularmente notáveis em tarefas baseadas em texto e controle deslizante.

5. Significado e Impacto

O trabalho demonstra que a resolução de CAPTCHA não deve ser tratada como uma tarefa isolada, mas como um conjunto de habilidades transferíveis que avançam a capacidade dos agentes nativos de GUI.

• Segurança e Robustez: Ao provar que agentes de IA podem resolver CAPTCHAs modernos com alta eficiência, o estudo destaca a necessidade urgente de evoluir os mecanismos de verificação humana.
• Futuro da Verificação: O artigo sugere uma mudança de paradigma: os CAPTCHAs baseados em quebra-cabeças visuais estáticos estão se tornando obsoletos para agentes de IA. O futuro da segurança deve focar em protocolos centrados no comportamento e na interação temporal contínua, que são mais resilientes a agentes nativos.
• Recurso Aberto: Os autores disponibilizaram o código, o modelo e os dados, estabelecendo uma base para pesquisas futuras sobre agentes de GUI capazes de lidar com desafios de segurança e interação complexa.

Em suma, o ReCAP estabelece um novo estado da arte na interseção entre agentes de GUI e segurança, demonstrando que, com a curadoria adequada de dados de raciocínio e correção, os modelos de linguagem multimodal podem internalizar habilidades complexas de interação e resolução de problemas.