💬 NLP

BRIDGE: Predicting Human Task Completion Time From Model Performance

Das Papier stellt BRIDGE vor, ein psychometrisches Framework, das die menschliche Aufgabenbearbeitungszeit aus Modellleistungsdaten vorhersagt, indem es eine lineare Beziehung zwischen latenter Aufgabenschwierigkeit und dem Logarithmus der menschlichen Bearbeitungszeit etabliert und so eine skalierbare Kapazitätsprognose ohne kostspielige menschliche Annotationen ermöglicht.

Ursprüngliche Autoren: Fengyuan Liu, Jay Gala, Nilaksh, Dzmitry Bahdanau, Siva Reddy, Hugo Larochelle

Veröffentlicht 2026-07-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Fengyuan Liu, Jay Gala, Nilaksh, Dzmitry Bahdanau, Siva Reddy, Hugo Larochelle

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen herauszufinden, wie schnell eine neue Generation von superschnellen Robotern beim Lösen von Rätseln wird. Normalerweise müsste man dafür ein Team von menschlichen Experten engagieren, die die Rätsel selbst lösen, die Zeit stoppen, die sie dafür benötigen, und dies dann mit den Robotern vergleichen. Doch Menschen einzustellen ist teuer, langsam und schwierig, wenn es für jedes einzelne neue Rätsel, das auf den Markt kommt, zu tun gilt.

Das Papier „BRIDGE“ schlägt eine clevere Abkürzung vor. Es legt nahe, dass wir vorhersagen können, wie lange ein Mensch für eine Aufgabe benötigen würde, indem wir einfach nur beobachten, wie gut KI-Modelle bei ihr abschneiden – ganz ohne, dass wir einen einzigen Menschen bezahlen müssen, um ihn zu stoppen.

Hier ist die Erklärung, wie sie das gemacht haben, verdeutlicht durch ein paar einfache Analogien:

1. Die „Schulprüfungs“-Analogie (Item Response Theory)

Betrachten Sie alle verschiedenen KI-Benchmarks (wie Programmiertests, mathematische Probleme oder Cybersicherheits-Herausforderungen) als eine riesige, durchmischte Tasche voller Schulprüfungen. Einige Prüfungen sind leicht, manche sind schwer und manche sind knifflig.

Die Forscher verwendeten ein statistisches Werkzeug namens Item Response Theory (IRT). Man kann sich das wie ein ausgeklügeltes Bewertungssystem vorstellen, das in der Bildung verwendet wird. Anstatt nur zu zählen, wie viele Fragen ein Schüler richtig beantwortet hat, betrachtet IRT eher darauf, welche Fragen er richtig beantwortet hat.

Wenn ein Schüler eine sehr schwere Frage richtig beantwortet, sagt uns das, dass er sehr intelligent ist.
Wenn er eine leichte Frage falsch beantwortet, wissen wir, dass er Schwierigkeiten hat.

Indem sie die Bestanden/Nicht-bestanden-Ergebnisse vieler verschiedener KI-Modelle bei vielen verschiedenen Aufgaben in dieses System einspeisen, erstellt das Papier einen „verborgenen Schwierigkeitsgrad“ für jede einzelne Aufgabe. Es ist, als würde man jedem Rätsel eine geheime Zahl geben, die repräsentiert, wie schwer es ist, basierend rein darauf, wie die Roboter abgeschnitten haben.

2. Den „Brückenbau“ vollziehen

Hier kommt der magische Teil. Die Forscher nahmen einen spezifischen Satz von Aufgaben, bei denen Menschen bereits ihre Zeit gemessen hatten (aus einer früheren Studie namens METR). Sie verglichen die „geheimen Schwierigkeitsgrade“ (von den Robotern) mit der „tatsächlichen menschlichen Zeit“ (von den Menschen).

Sie entdeckten eine lineare Beziehung: Je schwerer die Aufgabe für den Roboter ist (höherer Schwierigkeitsgrad), desto länger braucht ein Mensch für sie. Konkret wächst die Zeit, die ein Mensch benötigt, exponentiell an, während der Schwierigkeitsgrad steigt.

Man kann sich das wie den Bau einer Brücke vorstellen. Auf einer Seite des Flusses steht die „Roboterleistung“. Auf der anderen Seite steht die „menschliche Zeit“. Die Forscher haben gefunden, dass ein perfektes Brett die beiden verbindet. Sobald die Brücke gebaut ist, kann man auf der Roboterseite stehen, sehen, wie ein Modell abgeschnitten hat, und sofort wissen, wie lange ein Mensch für dasselbe tun würde, selbst wenn man noch nie einen Menschen dabei beobachtet hat.

3. Die „Kristallkugel“ für den KI-Fortschritt

Mit Hilfe dieser Brücke betrachteten die Autoren die Geschichte der KI-Modelle (von 2022 bis 2025). Sie fragten sich: „Wie viel länger wird die ‚menschliche Aufgabe‘, die sie lösen können, während die Modelle klüger werden?“

Sie fanden ein klares Muster: Die KI-Fähigkeiten wachsen exponentiell.

Stellen Sie sich vor, ein Modell im Jahr 2022 konnte nur eine Aufgabe lösen, die einen Menschen 1 Minute lang beschäftigt.
Bis zum Jahr 2025 könnten die besten Modelle Aufgaben lösen, die einen Menschen etwa 2 Stunden beschäftigen.
Das Papier berechnet, dass sich die „Länge“ der Aufgaben, die eine KI bewältigen kann, alle 6 Monate verdoppelt.

Es ist, als würde man einen Videospiel-Charakter beobachten, der so schnell aufsteigt (Level-up), dass er alle sechs Monate einen Bosskampf bewältigen kann, der doppelt so lange dauert wie der, den er zuvor besiegen konnte.

4. Warum das wichtig ist (laut dem Papier)

Das Papier behauptet, dass diese Methode ein Game-Changer ist, weil:

Sie günstig ist: Man muss nicht für jeden neuen Test Menschen bezahlen, um die Zeit zu messen.
Sie schnell ist: Man kann die menschliche Anstrengung für brandneue Benchmarks vorhersagen, sobald man die Roboter-Ergebnisse hat.
Sie genau ist: Als sie ihre Vorhersagen gegen echte menschliche Daten testeten, die sie nicht zum Bau der Brücke verwendet hatten, lagen ihre Schätzungen überraschend nah an der Realität.

Zusammenfassung

Das Papier stellt BRIDGE vor, eine Methode, die die Leistung von KI-Modellen nutzt, um eine „Schwierigkeitskarte“ zu erstellen. Indem sie diese Karte mit einer kleinen Menge an menschlichen Zeitmessungsdaten kalibrieren, können sie vorhersagen, wie lange eine Aufgabe einen Menschen beschäftigen würde, indem sie lediglich beobachten, wie gut eine KI abgeschnitten hat. Dies ermöglicht es uns, das rasante Wachstum der KI-Fähigkeiten (Verdoppelung der Aufgabenlänge alle 6 Monate) zu verfolgen, ohne den langsamen und teuren Prozess, ständig Menschen einzustellen, um alles zu stoppen.

Technisches Resümee: BRIDGE – Vorhersage der menschlichen Aufgabenerfüllungszeit aus der Modellleistung

Problemstellung

Die Bewertung der realen Leistungsfähigkeit von KI-Systemen stützt sich typischerweise auf Benchmark-Scores und aggregierte Metriken. Diese Scores sind jedoch schwer als Maß für die tatsächliche Aufgabenkomplexität oder den realen Aufwand zu interpretieren. Verbesserungen in den Scores können Fortschritte bei kurzen, routinemäßigen Instanzen widerspiegeln, während längere, mehrstufige Aufgaben unverändert bleiben können; zudem können vergleichbare Score-Änderungen mit völlig unterschiedlichen Verschiebungen in der praktischen Leistungsfähigkeit einhergehen.

Eine prominente Alternative, vorgeschlagen von METR (Kwa et al., 2026), misst die Leistungsfähigkeit in Bezug auf die „menschliche Aufgabenerfüllungszeit“ (human task completion time), die erforderlich ist, damit ein KI-Agent erfolgreich ist. Während dies eine für Menschen interpretierbare Skala bietet, beruht es auf teuren, verrauschten und schwer skalierbaren menschlichen Annotationen. Da neue Benchmarks entstehen, schafft die Abhängigkeit von maßgeschneiderten menschlichen Studien zur Verankerung jedes Benchmarks eine wachsende Lücke zwischen benchmark-zentrierter Evaluierung und menschenzentrierten Vorstellungen von Schwierigkeit. Die Kernherausforderung lautet: Können wir die menschliche Aufgabenerfüllungszeit für neue Benchmarks vorhersagen, ohne neue menschliche Studien durchzuführen?

Methodik: Das BRIDGE-Framework

Die Autoren schlagen BRIDGE vor (Benchmark Response Inferred Difficulty Grounded in Elapsed human time), ein einheitliches psychometrisches Framework, das die aus der Modellleistung inferierte latente Aufgabenkomplexität mit der menschlichen Aufgabenerfüllungszeit in Einklang bringt.

1. Item Response Theory (IRT) Modellierung

Das Framework nutzt ein Two-Parameter Logistic (2PL) IRT-Modell, um gemeinsam zu schätzen:

Latente Aufgabenkomplexität ( $b_i$ ): Ein Parameter, der die Schwierigkeit einzelner Aufgaben charakterisiert.
Modellkapazität ( $\theta_j$ ): Ein Parameter, der die Fähigkeit einzelner Modelle charakterisiert.
Diskriminierung ( $a_i$ ): Ein Parameter, der misst, wie gut eine Aufgabe zwischen Modellen unterschiedlicher Kapazität differenziert.

Die Wahrscheinlichkeit, dass ein Modell $j$ eine Aufgabe $i$ erfolgreich abschließt, wird modelliert als:
$P(y_{i,j} = 1 | \theta_j, a_i, b_i) = \sigma(a_i(\theta_j - b_i))$
wobei $\sigma$ die logistische Funktion ist. Das Modell wird mittels Markov-Chain-Monte-Carlo (MCMC) mit hierarchischen Priors auf binären Erfolgs-/Misserfolgs-Ergebnissen über mehrere Benchmarks hinweg gefittet.

2. Verankerung an der menschlichen Zeit

Obwohl die IRT eine einheitliche latente Skala liefert, sind ihre Parameter von Natur aus skaleninvariant und besitzen keine intrinsische semantische Bedeutung. BRIDGE löst dies durch die Verankerung (Anchoring) der latenten Schwierigkeitsskala an der menschlichen Erfüllungszeit.

Kalibrierung: Unter Verwendung eines Datensatzes von Aufgaben mit bekannten menschlichen Erfüllungszeiten (speziell aus METR) fitten die Autoren eine lineare Beziehung zwischen der durch IRT inferierten latenten Schwierigkeit ( $b_i$ ) und dem Logarithmus der menschlichen Erfüllungszeit ( $h_i$ ):
$\log(h_i) = \text{slope} \times b_i + \text{intercept}$
Vorhersage: Sobigkeit diese Kalibrierung erfolgt ist, ermöglicht diese log-lineare Abbildung die Vorhersage der menschlichen Erfüllungszeit für neue Benchmarks (ohne menschliche Annotationen) allein auf Basis ihrer durch IRT inferierten latenten Schwierigkeit.

3. Prognosehorizont

Das Framework verfolgt die Entwicklung der Fähigkeiten von Frontier-Modellen, indem es das leistungsstärkste Modell in spezifischen Release-Fenstern identifiziert. Durch die Abbildung der geschätzten Modellfähigkeit ( $\theta_{max}$ ) auf die Schwierigkeitsskala ( $b = \theta_{max}$ bei 50 % Erfolg) prognostiziert das System den „Aufgabenlängen-Horizont“ (task-length horizon) – die Dauer von Aufgaben, die ein Modell mit einer gegebenen Wahrscheinlichkeit abschließen kann.

Zentrale Beiträge

Einheitliches psychometrisches Framework: BRIDGE schließt die Lücke zwischen Modellperformanz-Metriken und menschlich interpretierbaren Zeiteinheiten, indem es die latente IRT-Schwierigkeit gegen die menschliche Erfüllungszeit kalibriert.
Log-Lineare Ausrichtung: Die Arbeit demonstriert einen starken empirischen Befund, dass die latente Aufgabenkomplexität linear mit dem Logarithmus der menschlichen Erfüllungszeit variiert ( $R^2 = 0,81$ auf METR-Daten). Dies ermöglicht die Inferenz der menschlichen Aufgabendauer allein aus der Modellleistung.
Skalierbare Prognose: Das Framework ermöglicht die Prognose der Fähigkeiten von Frontier-Modellen in Bezug auf die menschliche Aufgabenlänge, ohne für jeden neuen Benchmark neue menschliche Studien durchführen zu müssen.
Robustheit: Die Methode erweist sich als robust gegenüber der Sparsamkeit (Sparsity) in der Modell-Aufgaben-Abdeckung und behält eine hohe Korrelation in den Schwierigkeitsschätzungen bei, selbst wenn bis zu 70 % der beobachteten Einträge entfernt werden.

Experimentelle Ergebnisse

Die Autoren evaluierten BRIDGE auf mehreren Out-of-Distribution Benchmarks: SWE-bench Verified, MLE-bench, GDPval und Cybench.

Genauigkeit der Zeitvorhersage:
- Auf SWE-bench Verified stimmten die durch BRIDGE vorhergesagten Zeit-Buckets signifikant besser mit menschlichen Annotationen überein als sowohl eine Logit-Erfolgsraten-Heuristik als auch LLM-basierte Schätzer (Gemini 3 Pro, GPT-5.2). BRIDGE erreichte einen gewichteten Macro-F1-Score von 0,284 im Vergleich zu 0,198 für die Logit-Baseline und 0,048 für GPT-5.2.
- Auf Cybench erreichte BRIDGE ein $R^2$ von 0,45 gegenüber den menschlichen Erst-Lösungszeiten, wobei 92,3 % der Aufgaben innerhalb einer Toleranzbandbreite von 0,5×–2× lagen. Im Gegensatz dazu unterschätzten Logit-Baselines die Dauer systematisch, während LLM-Schätzer sie konsistent überschätzten.
Prognosetrends:
- Unter Verwendung ausschließlich von Modellperformanz-Logs prognostiziert BRIDGE, dass der „50%-Aufgabenerfüllungszeit-Horizont“ (die Länge von Aufgaben, die mit 50 % Wahrscheinlichkeit lösbar sind) exponentiell wächst.
- Die geschätzte Verdopplungszeit beträgt etwa 6 Monate.
- Stand der neuesten Frontier-Modelle (z. B. Claude 4.5 Opus, GPT-5) wird der 50%-Erfolgs-Horizont je nach Benchmark auf etwa 1,4 bis 2,5 Stunden menschlicher Anstrengung geschätzt.
- Bei einer strengeren 80%-Erfolgsschwelle kontrahiert der Horizont auf etwa 40 Minuten, aber die Verdopplungszeit bleibt konsistent bei ~6 Monaten.

Bedeutung und Behauptungen

Das Paper behauptet, dass BRIDGE eine skalierbare, zuverlässige und menschenzentrierte Methode zur Evaluierung und Prognose des KI-Fortschritts bietet.

Unabhängigkeit von menschlichen Studien: Es zeigt, dass menschenzentrierte Aufgabenkomplexität aus modellzentrierten Daten inferiert werden kann, was die Kosten und Reibungsverluste bei der Verfolgung des realen KI-Fortschritts reduziert.
Validierung von Scaling Laws: Die Ergebnisse reproduzieren und bestätigen unabhängig die Erkenntnisse von METR bezüglich des exponentiellen Wachstums der Aufgabenlängen-Horizonte und validieren die Nutzung der Modellleistung als Proxy für die menschliche Zeit.
Interpretierbarkeit: Indem BRIDGE abstrakte Benchmark-Scores in „Stunden menschlicher Anstrengung“ übersetzt, bietet es eine handlungsfähigere Metrik, um zu verstehen, was KI-Systeme zuverlässig leisten können und wie schnell sich ihre praktische Leistungsfähigkeit verbessert.

Die Autoren kommen zu dem Schluss, dass die Verankerung der (inhärent skaleninvarianten) IRT an der menschlichen Zeit einen „Rosetta-Stein“ für KI-Benchmarks schafft, der den Transfer von Schwierigkeitsschätzungen zwischen Menschen und Modellen über diverse und sich entwickelnde Aufgabenverteilungen hinweg ermöglicht.