Resumo Técnico: Quantificação de Incerteza para Agentes de Uso de Computador

Declaração do Problema

Agentes de uso de computador transformam predições de modelos de linguagem visual (VLM) em ações de GUI executáveis, especificamente coordenadas de clique de etapa única. Diferente da classificação passiva, uma predição incorreta neste contexto desencadeia uma ação indesejada no sistema hospedeiro. Consequentemente, a quantificação de incerteza (UQ) confiável é essencial para mecanismos críticos de implantação, como rejeição de erro, calibração, classificação de severidade de falha e definição de regiões de segurança espacial.

No entanto, evidências existentes sobre UQ post-hoc para esses agentes são fragmentadas. Estudos anteriores tipicamente avaliam pares modelo-dataset isolados ou famílias específicas de UQ, deixando incerto se os rankings de métodos de UQ permanecem estáveis quando a arquitetura do agente, a geometria do benchmark ou a interface observável (ex: internos de pesos abertos vs. APIs de código fechado) mudam. A questão central abordada é: Quando a UQ generaliza em agentes de uso de computador?

Metodologia: O Benchmark ARGUS

Os autores introduzem o ARGUS (Assessing Regime-wise Generalization of Uncertainty Scoring), um benchmark unificado de cross-regime projetado para avaliar a transferibilidade de métodos de UQ post-hoc.

Configuração Experimental

• Regimes: Um regime é definido pela combinação de um agente, um dataset e uma interface de modelo observável.
• Modelos:
  • Painel de Pesos Abertos (Open-weight): 4 agentes VLM (Qwen2.5-VL-7B, Qwen2.5-VL-72B-AWQ, UI-TARS-1.5-7B, POINTS-GUI-G-8B).
  • Painel de Código Fechado (Closed-source): 3 fornecedores de fronteira (GPT-5.4, Claude Sonnet 4.6, Gemini 3.1 Pro) via API apenas.
• Datasets: 4 benchmarks de grounding de GUI de etapa única (SCREENSPOT-V2, SCREENSPOT-PRO, OSWORLD-G, UI-VISION-EG).
• Métodos de UQ:
  • Pesos Abertos: 27 métodos em 7 famílias (Logit, Sampling, Hybrid, Density/Probe, Attention, Verbalised, VLM-native). Estes utilizam sinais internos como logits, estados ocultos e mapas de atenção.
  • Código Fechado: Um subconjunto harmonizado de 8 métodos compatíveis com interfaces apenas via API (descartando métodos que exigem estados internos).
• Métricas de Avaliação:
  • Detecção de Erro: AUROC (cliques incorretos como positivos).
  • Execução Seletiva: PRR (qualidade de rejeição normalizada pelo oracle) e AURC.
  • Calibração: ECE e escore de Brier (após regressão isotônica).
  • Severidade Graduada: AUSE (erro de esparsificação de falha-apenas em distância normalizada).
  • Transferência: Correlação de ranking de Spearman ($\rho$) entre rankings de métodos de UQ através de diferentes regimes.
  • Cobertura Espacial: Raio de disco de clique conformal e lacuna de cobertura.

Protocolo

O benchmark utiliza uma divisão rigorosa de 80/20 para calibração/teste repetida sobre 50 sementes (seeds). Probes aprendidos e estimadores de densidade são treinados apenas na divisão de calibração. Todas as métricas principais são computadas em registros de teste retidos. Para modelos de código fechado, métodos que exigem sinais internos indisponíveis são descartados em vez de serem substituídos por proxies para garantir uma comparação justa.

Principais Resultados

1. Transferência Seletiva de Rankings de UQ

A principal descoberta é que os rankings de UQ exibem generalização seletiva:

• Estáveis dentro de Modelos Fixos: Os rankings são altamente estáveis entre datasets para um modelo fixo. Por exemplo, no modelo POINTS-GUI-G, a transferência cross-dataset atingiu um Spearman $\rho = 0,969$. A transferência média através de todos os 120 pares de pesos abertos foi de $\rho = 0,705$.
• Instáveis entre Classes de Modelos: Os rankings degradam significamente ao mover entre classes de modelos (ex: VLMs vanilla para agentes especialistas em GUI).
• Instáveis entre Interfaces: A transferência de modelos de pesos abertos para APIs de código fechado é estatisticamente indistinguível de zero. No subconjunto compartilhado de 8 métodos, a transferência média entre tiers foi de $\rho = +0,08$ (o IC de 95% inclui zero). Isso implica que recomendações de UQ para modelos de pesos abertos não podem ser extrapoladas para fornecedores de código fechado.

2. Confiabilidade Dependente de Regime

Nenhuma família de UQ domina todos os regimes. A "melhor" família depende da configuração específica:

• Pesos Abertos: Métodos de Densidade/Probe (ex: SAPLMA, SEP, Mahal-RMD) são a família mais estável entre modelos e datasets.
• Código Fechado: Autoavaliação Verbalised (ex: Verbalised-1S/2S) e métodos Híbridos (ex: CCP) performam melhor. Notavelmente, o Verbalised-1S alcançou um AUROC de 0,966 no Gemini para SCREENSPOT-V2, impulsionado por uma distribuição de escore fortemente bimodal.
• Transições de Modelo: Mover de agentes vanilla para especialistas causa perda de AUROC em todas as famílias de Attention, Verbalised e VLM-native em todos os datasets. Em contraste, métodos de Densidade/Probe permanecem relativamente estáveis.

3. Divergência de Objetivos

A detecção binária de erro (AUROC) e o ranking de severidade de falha graduada (AUSE) frequentemente selecionam métodos distintos no topo. No painel de pesos abertos, o melhor método para AUROC e AUSE concordou em apenas 2 de 16 células. Isso indica que um escore bom em identificar se um erro ocorreu não é necessariamente bom em ranquear quão severo o erro é.

4. Limitações de Cobertura Espacial

A discriminação ao nível de escore é insuficiente para implantação. Embora discos de clique conformais (usando scores de UQ plug-in) possam reduzir raios em 40–60% comparados a baselines fixos, a cobertura pode degradar sob desajustes de calibração-teste ou de interface. Por exemplo, a cobertura de código fechado mostrou sub-cobertura sistemática em certos fornecedores, sugerindo que a predição conformal marginalmente válida requer validação cuidadosa das suposições de permutabilidade (exchangeability).

Contribuições

1. Benchmark Cross-Regime: O ARGUS fornece o primeiro benchmark unificado de avaliação de UQ post-hoc para grounding de GUI executável através de interfaces de pesos abertos e apenas via API, cobrindo 27 métodos e 4 datasets.
2. Análise de Transferência de Ranking: O artigo quantifica onde os rankings de métodos de UQ generalizam (modelo fixo, variando dataset) e onde eles falham (mudança de classe de modelo ou interface).
3. Protocolo Harmonizado: Um protocolo rigoroso para comparação apenas via API que evita substituições por proxies para sinais internos indisponíveis, garantindo uma avaliação justa entre tiers.
4. Confiabilidade Dependente de Regime: Evidência de que a classe do modelo, a observabilidade da API e a geometria de falha espacial alteram fundamentalmente quais famílias de UQ são confiáveis.
5. Avaliação de Implantação: Avaliação abrangente de UQ para rejeição, calibração, ranking de severidade e cobertura espacial conformal, acompanhada de um pacote Python liberado (argus-uq) com registros por item e scripts de análise.

Significância e Alegações

O artigo afirma que a qualidade da incerteza não é uma propriedade intrínseca de um método de UQ, mas depende conjuntamente do método, do modelo, da geometria do dataset, da interface observável e do objetivo de implantação.

Os autores enfatem que a "transferência seletiva" é o princípio governante:

• Não extrapole: Recomendações de UQ para modelos de pesos abertos não devem ser extrapoladas para fornecedores de código fechado; elas devem ser re-ranqueadas no split de calibração alvo.
• Não assuma universalidade: Um método que ranqueia bem erros para um agente de GUI pode falhar em outro.
• Não dependa apenas de scores: Um alto AUROC não garante cobertura espacial; regiões conformais devem ser validadas para lacunas de cobertura.

O trabalho conclui que a implantação requer um painel de UQ consciente do regime (um pequeno conjunto de métodos candidatos) em vez de um único score universal, com a seleção final validada no split de calibração específico. Os autores liberam o argus-uq para facilitar este processo de seleção consciente do regime.