Technisches Resümee: Unsicherheitsquantifizierung für Computer-Use-Agenten

Problemstellung

Computer-Use-Agenten transformieren visuelle Sprachmodell-Vorhersagen (VLM) in ausführbare GUI-Aktionen, spezifisch in Koordinaten für Einzelschritte (Single-Step Click Coordinates). Im Gegensatz zur passiven Klassifizierung löst eine fehlerhafte Vorhersage in diesem Kontext eine unbeabsichtigte Aktion auf dem Host-System aus. Folglich ist eine zuverlässige Unsicherheitsquantifizierung (Uncertainty Quantification, UQ) für kritische Deployment-Mechanismen wie Fehlerrejektion, Kalibrierung, Miss-Severity-Ranking (Bewertung der Fehlerernsthaftigkeit) und die Definition räumlicher Sicherheitsregionen essenziell.

Die bisherigen Erkenntnisse zur Post-hoc-UQ für diese Agenten sind jedoch fragmentiert. Vorangegangene Studien bewerten typischerweise isolierte Modell-Datensatz-Paare oder spezifische UQ-Familien, wodurch unklar bleibt, ob die Rangfolgen der UQ-Methoden stabil bleiben, wenn sich die Agentenarchitektur, die Benchmark-Geometrie oder die beobachtbare Schnittstelle (z. B. Open-Weight-Internals vs. Closed-Source-APIs) ändern. Die zentrale Frage, die adressiert wird, lautet: Wann generalisiert UQ bei Computer-Use-Agenten?

Methodik: Der ARGUS-Benchmark

Die Autoren führen ARGUS (Assessing Regime-wise Generalization of Uncertainty Scoring) ein, einen vereinheitlichten Cross-Regime-Benchmark, der darauf ausgelegt ist, die Übertragbarkeit von Post-hoc-UQ-Methoden zu evaluieren.

Experimentelles Setup

• Regimes: Ein Regime ist definiert durch die Kombination aus einem Agenten, einem Datensatz und einer beobachtbaren Modell-Schnittstelle.
• Modelle:
  • Open-weight Panel: 4 VLM-Agenten (Qwen2.5-VL-7B, Qwen2.5-VL-72B-AWQ, UI-TARS-1.5-7B, POINTS-GUI-G-8B).
  • Closed-source Panel: 3 führende Anbieter (GPT-5.4, Claude Sonnet 4.6, Gemini 3.1 Pro) ausschließlich via API.
• Datensätze: 4 Single-Step GUI-Grounding-Benchmarks (SCREENSPOT-V2, SCREENSPOT-PRO, OSWORLD-G, UI-VISION-EG).
• UQ-Methoden:
  • Open-weight: 27 Methoden aus 7 Familien (Logit, Sampling, Hybrid, Density/Probe, Attention, Verbalised, VLM-native). Diese nutzen interne Signale wie Logits, Hidden States und Attention-Maps.
  • Closed-source: Eine harmonisierte 8-Methoden-Teilmenge, die mit API-only-Schnittstellen kompatibel ist (Ausschluss von Methoden, die interne Zustände erfordern).
• Evaluationsmetriken:
  • Fehlererkennung: AUROC (falsche Klicks als positive Fälle).
  • Selektive Ausführung: PRR (Oracle-normalisierte Rejektionsqualität) und AURC.
  • Kalibrierung: ECE und Brier-Score (nach Isotonischer Regression).
  • Gestufte Schweregrad-Bewertung (Graded Severity): AUSE (Miss-only Sparsification Error auf normalisierter Distanz).
  • Transfer: Spearman-Rangkorrelation ($\rho$) zwischen den UQ-Methoden-Rankings über verschiedene Regimes hinweg.
  • Räumliche Abdeckung (Spatial Coverage): Conformal Click-Disk-Radius und Coverage Gap.

Protokoll

Der Benchmark verwendet ein striktes 80/20 Kalibrierungs-/Test-Split-Verfahren, das über 50 Seeds wiederholt wird. Gelernte Probes und Dichteschätzer werden nur auf dem Kalibrierungs-Split trainiert. Alle Headline-Metriken werden auf den ausgesonderten Test-Datensätzen berechnet. Für Closed-Source-Modelle werden Methoden, die interne Signale erfordern, entfernt, anstatt sie durch Proxies zu ersetzen, um einen fairen Vergleich zu gewährleisten.

Kernergebnisse

1. Selektiver Transfer von UQ-Rankings

Die primäre Erkenntnis ist, dass UQ-Rankings eine selektive Generalisierung aufweisen:

• Stabil innerhalb fester Modelle: Rankings sind bei einem festen Modell über Datensätze hinweg hochgradig stabil. Beispielsweise erreichte der Cross-Dataset-Transfer beim POINTS-GUI-G-Modell eine Spearman $\rho = 0,969$. Der durchschnittliche Transfer über alle 120 Open-Weight-Paare betrug $\rho = 0,705$.
• Instabil über Modellklassen hinweg: Rankings verschlechtern sich signifikant beim Wechsel zwischen Modellklassen (z. B. von Vanilla VLMs zu spezialisierten GUI-Agenten).
• Instabil über Schnittstellen hinweg: Der Transfer von Open-Weight-Modellen zu Closed-Source-APIs ist statistisch nicht von Null unterscheidbar. Bei der gemeinsamen 8-Methoden-Schnittmenge lag der durchschnittliche Cross-Tier-Transfer bei $\rho = +0,08$ (95 % KI enthält Null). Dies impliziert, dass UQ-Empfehlungen für Open-Weight-Modelle nicht auf Closed-Source-Anbieter extrapoliert werden können.

2. Regime-abhängige Zuverlässigkeit

Keine einzelne UQ-Familie dominiert alle Regimes. Die „beste“ Familie hängt von der spezifischen Konfiguration ab:

• Open-weight: Density/Probe-Methoden (z. B. SAPLMA, SEP, Mahal-RMD) sind die stabilste Familie über Modelle und Datensätze hinweg.
• Closed-source: Verbalised Selbstbewertung (z. B. Verbalised-1S/2S) und Hybrid-Methoden (z. B. CCP) performen am besten. Bemerkenswerterweise erreichte Verbalised-1S einen AUROC von 0,966 bei Gemini für SCREENSPOT-V2, getrieben durch eine scharf bimodale Score-Verteilung.
• Modell-Transitionen: Der Übergang von Vanilla- zu spezialisierten Agenten führt dazu, dass Attention, Verbalised und VLM-native Familien den AUROC über alle Datensätze hinweg verlieren. Im Gegensatz dazu bleiben Density/Probe-Methoden relativ stabil.

3. Divergenz der Zielsetzungen

Binäre Fehlererkennung (AUROC) und gestufte Fehlerschwere-Rangfolge (AUSE) wählen oft unterschiedliche Top-Methoden. Im Open-Weight-Panel stimmten die Top-Methoden für AUROC und AUSE in nur 2 von 16 Zellen überein. Dies zeigt, dass ein Score, der gut darin ist, ob ein Fehler auftrat zu identifizieren, nicht zwangsläufig gut darin ist, zu ranken, wie schwerwiegend der Fehler ist.

4. Limitationen der räumlichen Abdeckung

Die Diskriminierung auf Score-Ebene ist für den Einsatz unzureichend. Während Conformal Click Disks (unter Verwendung von Plug-in UQ-Scores) die Radien im Vergleich zu festen Baselines um 40–60 % verkleinern können, kann die Abdeckung bei Kalibrierungs-Test- oder Schnittstellen-Mismatch degradieren. Beispielsweise zeigten Closed-Source-Modelle eine systematische Unterdeckung bei bestimmten Anbietern, was darauf hindeutet, dass marginal valide Conformal Prediction eine sorgfältige Validierung der Austauschbarkeit-Annahmen erfordert.

Beiträge

1. Cross-Regime-Benchmark: ARGUS bietet die erste vereinheitlichte Evaluierung von Post-hoc-UQ für ausführbares GUI-Grounding über Open-Weight- und API-only-Schnittstellen hinweg, deckend 27 Methoden und 4 Datensätze.
2. Ranking-Transfer-Analyse: Das Paper quantifiziert, wo UQ-Methoden-Rankings generalisieren (festes Modell, variierender Datensatz) und wo sie brechen (Wechsel der Modellklasse oder der Schnittstelle).
3. Harmonisiertes Protokoll: Ein striktes Protokoll für den API-only-Vergleich, das keine Proxy-Substitutionen für nicht verfügbare interne Signale nutzt, um eine faire Cross-Tier-Evaluierung zu gewährleisten.
4. Regime-abhängige Zuverlässigkeit: Nachweis, dass Modellklasse, API-Observabilität und die räumliche Fehlergeometrie fundamental beeinflussen, welche UQ-Familien zuverlässig sind.
5. Deployment-Evaluierung: Umfassende Bewertung von UQ für Rejektion, Kalibrierung, Schweregrad-Ranking und konforme räumliche Abdeckung, begleitet von dem veröffentlichten Python-Paket argus-uq mit Datensätzen pro Item und Analyse-Skripten.

Bedeutung und Behauptungen

Das Paper behauptet, dass die Qualität der Unsicherheit keine intrinsische Eigenschaft einer UQ-Methode ist, sondern gemeinsam von der Methode, dem Modell, der Datensatzgeometrie, der beobachtbaren Schnittstelle und dem Deployment-Ziel abhängt.

Die Autoren betonen das Prinzip des „selektiven Transfers“:

• Nicht extrapolieren: UQ-Empfehlungen für Open-Weight-Modelle sollten nicht auf Closed-Source-Anbieter extrapoliert werden; sie müssen auf dem Ziel-Kalibrierungs-Split neu gerankt werden.
• Keine Universalität annehmen: Eine Methode, die Fehler für einen GUI-Agenten gut rankt, kann bei einem anderen versagen.
• Nicht allein auf Scores verlassen: Ein hoher AUROC garantiert keine räumliche Abdeckung; Conformal Regions müssen auf Coverage Gaps validiert werden.

Die Arbeit kommt zu dem Schluss, dass der Einsatz ein regime-bewusstes UQ-Panel (eine kleine Menge an Kandidatenmethoden) erfordert, anstatt eines einzelnen universellen Scores, wobei die endgültige Auswahl auf dem spezifischen Ziel-Kalibrierungs-Split validiert werden muss. Die Autoren veröffentlichen argus-uq, um diesen regime-bewussten Auswahlprozess zu unterstützen.