Automating Forecasting Question Generation and Resolution for AI Evaluation

Diese Arbeit stellt ein System vor, das mithilfe von LLM-gestützten Web-Recherche-Agenten automatisch eine große Anzahl diverser und schwieriger Prognosefragen generiert und löst, um damit KI-Modelle zu evaluieren und deren Vorhersagefähigkeiten durch Strategien wie die Fragezerlegung nachweislich zu verbessern.

Das Wesentliche

Hier ist eine einfache und bildhafte Erklärung der Forschung, basierend auf dem vorliegenden Papier:

🌍 Die große Vorhersage-Maschine: Wie KI die Zukunft selbst testet

Stellen Sie sich vor, Sie wollen herausfinden, ob ein neuer, super-intelligenter Roboter wirklich schlau ist. Wie testen Sie das? Sie könnten ihn Fragen stellen wie „Was ist 2+2?" – aber das ist zu einfach. Echte Intelligenz zeigt sich darin, ob man die Zukunft vorhersagen kann.

Das Problem dabei ist: Um zu testen, ob eine KI gut vorhersagen kann, braucht man tausende von Fragen über die Zukunft. Aber wer soll diese Fragen erfinden? Menschen sind langsam, teuer und machen Fehler. Wenn man zu viele Fragen stellt, wird es chaotisch.

Die Autoren dieses Papers haben eine Lösung gefunden: Sie haben eine KI-Maschine gebaut, die sich selbst Fragen erfindet, prüft und dann löst.

---

🏭 Wie funktioniert diese Maschine? (Die Fabrik für Zukunftsfragen)

Stellen Sie sich eine riesige Fabrik vor, in der keine Autos, sondern Zukunftsszenarien produziert werden. Der Prozess läuft in vier Schritten ab:

1. Der Samen (Die Inspiration):
   Die Fabrik fängt nicht bei Null an. Sie nimmt „Samen" aus der echten Welt – zum Beispiel Nachrichtenartikel über Politik, Wirtschaft oder Sport. Das ist wie das Saatgut, aus dem die Fragen wachsen.

2. Die Skizze (Der Entwurf):
   Ein KI-Agent (ein digitaler Forscher) liest den Samen und denkt sich daraus eine grobe Idee aus: „Was könnte in den nächsten Monaten passieren?" Das ist wie ein Architekt, der einen ersten Entwurf für ein Haus macht. Noch ist es nicht fertig, aber man sieht die Richtung.

3. Die Bauplan-Prüfung (Die Verfeinerung):
   Ein zweiter KI-Agent nimmt diese Skizze und macht sie zum perfekten Bauplan. Er sorgt dafür, dass die Frage eindeutig ist.

   • Beispiel für eine schlechte Frage: „Wird es bald regnen?" (Wann? Wo? Was ist „bald"?)
   • Die KI macht daraus eine gute Frage: „Wird es in Berlin am 31. Dezember 2025 um 12:00 Uhr mehr als 5 Millimeter Niederschlag geben?"
     Jetzt gibt es ein klares Ziel und eine klare Antwortmöglichkeit.

4. Der Qualitäts-Check (Die Inspektoren):
   Bevor die Frage in den Verkauf geht, prüfen mehrere „KI-Inspektoren" sie:

   • Ist die Frage schwer genug? (Oder ist die Antwort offensichtlich?)
   • Können wir die Antwort später wirklich finden? (Gibt es eine Quelle, die das bestätigt?)
   • Ist sie eindeutig? (Kann man sich darüber streiten?)
     Nur die besten Fragen kommen durch.

---

🎯 Das Ergebnis: Ein riesiger Testlauf

Die Autoren haben diese Maschine laufen lassen und 1.499 Fragen erzeugt. Das ist eine ganze Menge! Diese Fragen decken alles ab: Von politischen Entscheidungen und Kriegen über Wetterkatastrophen bis hin zu Sportergebnissen.

Dann haben sie die KI-Systeme getestet:

• Die Prüfung: Verschiedene KI-Modelle (wie Gemini 3 Pro, GPT-5) mussten versuchen, diese Fragen zu beantworten.
• Das Ergebnis: Je „schlauer" die KI war, desto besser hat sie die Fragen beantwortet. Das ist wie bei einem Sporttest: Ein Olympiasieger läuft schneller als ein Anfänger. Das zeigt, dass die Fragen wirklich die Intelligenz messen und nicht nur Glück.

Die Überraschung: Die KI hat nicht nur Fragen gestellt, sondern sie auch selbst gelöst!

• Sie hat 96% der Fragen so gut formuliert, dass sie eindeutig beantwortet werden konnten (besser als viele menschliche Experten).
• Sie hat 95% der Antworten korrekt gelöst.

---

🧩 Warum ist das so wichtig? (Die Analogie vom Spiegel)

Stellen Sie sich vor, Sie wollen wissen, wie gut ein Spiegel ist. Wenn Sie nur ein paar wenige, unscharfe Bilder hineinwerfen, können Sie nicht sagen, ob der Spiegel gut ist. Sie brauchen tausende verschiedene Bilder, um den Spiegel zu testen.

Früher mussten Menschen diese Bilder (die Fragen) mühsam von Hand malen. Das ging langsam und oft waren die Bilder unscharf.
Mit diesem neuen System haben die Forscher einen Roboter-Spiegel-Tester gebaut. Dieser Roboter:

1. Erfindet tausende neue Bilder (Fragen).
2. Prüft, ob sie scharf genug sind.
3. Testet sofort, ob der Spiegel (die KI) sie gut spiegelt.

🚀 Was bedeutet das für die Zukunft?

Dieses System ist ein großer Schritt in Richtung Allgemeine Künstliche Intelligenz (AGI).

• Es ist ein Maßstab: Wir können jetzt objektiv messen, ob eine KI wirklich „klüger" wird oder nur besser im Auswendiglernen ist.
• Es ist effizient: Wir müssen keine Teams von Menschen mehr bezahlen, um Fragen zu erfinden. Die KI macht das schneller und vielfältiger.
• Es ist realistisch: Die Fragen kommen aus der echten Welt (Nachrichten, Märkte), nicht aus erfundenen Szenarien.

Kurz gesagt: Die Autoren haben eine Maschine gebaut, die sich selbst den Test für ihre eigene Intelligenz erfindet. Und das Beste daran: Die Maschine besteht den Test fast so gut wie ein menschlicher Experte, aber in einem Bruchteil der Zeit und mit viel mehr Fragen. Das ist ein mächtiges Werkzeug, um zu verstehen, wie nah wir an einer wirklich intelligenten KI sind.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Automating Forecasting Question Generation and Resolution for AI Evaluation" auf Deutsch:

1. Problemstellung

Die Bewertung von KI-Systemen im Bereich der Vorhersage (Forecasting) stellt eine erhebliche Herausforderung dar. Im Gegensatz zu Klassifizierungsaufgaben, bei denen eindeutige Labels existieren, ist das „Gold-Label" für eine Vorhersage eine Wahrscheinlichkeitsverteilung. Da jedoch nur ein einziges Ergebnis (das Ereignis tritt ein oder nicht) beobachtet werden kann, ist eine hohe Stichprobengröße erforderlich, um kalibrierte Vorhersagen von schlecht kalibrierten zu unterscheiden.

Bisherige Ansätze zur Automatisierung der Generierung von Vorhersagefragen stießen an Grenzen:

• Mangelnde Vielfalt: Viele Systeme basieren auf wiederkehrenden Datenquellen (z. B. Wetter, Aktienkurse), was zu stark korrelierten oder trivialen Fragen führt.
• Hoher manueller Aufwand: Hochwertige Fragen erfordern präzise Auflösungskriterien (Resolution Criteria), um Mehrdeutigkeiten zu vermeiden. Selbst menschlich kuratierte Plattformen wie Metaculus haben eine signifikante Rate an annullierten Fragen (ca. 8 %).
• Statistische Power: Die begrenzte Anzahl an hochwertigen Fragen erschwert die statistische Absicherung von Ergebnissen bei der Evaluierung von KI-Modellen.

Das Ziel dieser Arbeit ist es, ein System zu entwickeln, das in der Lage ist, hochwertige, diverse und schwer lösbare Vorhersagefragen in großem Maßstab automatisch zu generieren und später automatisch aufzulösen, um KI-Forecaster effektiv zu evaluieren.

2. Methodik

Die Autoren präsentieren einen mehrstufigen Pipeline-Ansatz, der auf LLM-gesteuerten Web-Recherche-Agenten (ReAct-Architektur) basiert. Das System nutzt die Asymmetrie, dass die Verifizierung von Ausgaben oft einfacher ist als deren Generierung.

Der Generierungs-Pipeline-Prozess:

1. Seeding (Samen): Das System startet mit „Seeds" (Texte, URLs, Themen) aus realen Quellen wie Nachrichtenartikeln (GDELT, Media Cloud) und Unternehmensprognosen (Stockfisher). Dies verhindert Halluzinationen und sichert den Bezug zur Realität.
2. Proto-Fragen: Ein ReAct-Agent recherchiert im Web und generiert basierend auf den Seeds 1–7 „Proto-Fragen". Diese sind inhaltlich klar, aber noch nicht präzise genug für eine objektive Auflösung.
3. Verfeinerung (Refinement): Ein weiterer Agent operationalisiert die Proto-Fragen, indem er präzise, objektive Auflösungskriterien hinzufügt (z. B. spezifische Datenquellen, Zeitfenster, Definitionen).
4. Verifizierung (Verifier Agents): Mehrere spezialisierte Agenten prüfen jede verfeinerte Frage iterativ auf:
   • Qualität: Ist die Frage nicht-trivial und förderlich für bessere Vorhersagen durch mehr Recherche?
   • Mehrdeutigkeit: Ist die Frage eindeutig lösbar?
   • Lösbarkeit: Kann ein weiterer Agent die Frage automatisch auflösen?
   • Vorhersage: Ein einfacher Forecaster prüft, ob die Frage nicht zu trivial ist (Wahrscheinlichkeiten nahe 0 % oder 100 %).
5. Deduplizierung: Embeddings (OpenAI text-embedding-3-large) und DBSCAN-Clustering werden verwendet, um ähnliche Fragen zu gruppieren. Ein LLM (Claude Haiku 4.5) prüft dann manuell innerhalb der Cluster auf echte Duplikate.

Der Auflösungs-Prozess:
Die Fragen werden Monate später durch ein Ensemble von Agenten gelöst:

• Drei Agenten basierend auf Gemini 3 Pro (mit leicht variierenden Prompts) führen eine Web-Recherche durch und treffen eine Entscheidung.
• Bei Uneinigkeit wird ein Opus 4.5-Agent als „Tiebreaker" hinzugezogen.
• Die Auflösung erfolgt strikt nach den definierten Kriterien, wobei die Agenten gezwungen werden, spezifische Datenquellen zu finden und nicht nur auf Suchmaschinen-Snippets zu vertrauen.

3. Schlüsselbeiträge

• Skalierbare Automatisierung: Das System generierte 1.499 einzigartige, hochwertige Vorhersagefragen aus 2.500 Seeds.
• Überlegene Qualität: Das System erreicht eine Rate von ca. 96 % an verifizierbaren, eindeutigen Fragen, was die Rate menschlich kurierter Plattformen (Metaculus) übertrifft.
• Hohe Auflösungspräzision: Das automatische Auflösungsverfahren erreicht eine Genauigkeit von ca. 95 % (basierend auf menschlicher Verifizierung einer Stichprobe).
• Benchmark für KI-Fortschritt: Die generierten Fragen dienen als robuster Test für die Intelligenz von KI-Modellen, da sie nachweislich mit steigender Modellintelligenz bessere Ergebnisse liefern.

4. Ergebnisse

Die Evaluation des Systems und der generierten Fragen ergab folgende Kernbefunde:

• Qualität und Vielfalt:

  • Die Fragen decken 12 diverse Themenbereiche ab (z. B. Geopolitik, Makroökonomie, Recht, Raumfahrt).
  • Die intra-cluster-Ähnlichkeit ist gering (durchschnittlicher Ähnlichkeitswert 1,32 auf einer Skala von 1–4), was zeigt, dass die Fragen nicht nur Variationen desselben Themas sind.
  • Die Annulierungsrate (Fragen, die nicht gelöst werden können) liegt bei geschätzt 3,9 % (95 % KI: [1,1 %, 8,4 %]), was günstiger ist als die historische Rate von Metaculus (~8 %).

• Evaluierung von KI-Modellen:

  • Leistungssteigerung mit Intelligenz: Leistungsfähigere Modelle erzielten bessere Brier-Scores (niedriger ist besser).
    • Gemini 3 Pro: 0,134
    • GPT-5: 0,149
    • Gemini 2.5 Flash: 0,179
  • Forschungsaufwand: Die Zerlegung von Fragen in Subfragen (Subquestion Decomposition) führte zu einer signifikanten Leistungsverbesserung (Brier-Score von 0,141 auf 0,132), was beweist, dass der Benchmark mehr Aufwand und tiefere Analyse belohnt.
  • Kalibrierung: Die Modelle zeigten eine gute Diskriminierungsfähigkeit zwischen „Ja"- und „Nein"-Ergebnissen.

• Systematische Grenzen:

  • Die Auflösung scheitert oft bei Fragen, die Interaktion mit Formularen erfordern, dynamisch geladene Inhalte oder die Extraktion spezifischer Werte aus langen PDFs.
  • Fragen, die das Nicht-Eintreten eines Ereignisses beweisen müssen (bei fehlender Berichterstattung), sind für Agenten besonders schwierig.

5. Bedeutung und Fazit

Dieses Paper demonstriert einen Durchbruch in der automatisierten Evaluierung von KI-Forecastern. Es löst das Problem des Mangels an hochwertigen, diversen und schwer lösbaren Testfragen.

• Für die AGI-Forschung: Da Vorhersagefähigkeit ein robuster Indikator für allgemeine Intelligenz ist, bietet dieses System einen skalierbaren Weg, um den Fortschritt von KI-Systemen in Richtung AGI (Artificial General Intelligence) zu messen.
• Praktische Anwendung: Die generierten Fragen können direkt zur Verbesserung von Vorhersagesystemen genutzt werden (z. B. durch Training oder Feinabstimmung).
• Validierung: Die Tatsache, dass das System Fragen generiert, die menschlichen Expertenstandards entsprechen oder diese übertreffen, und dass leistungsfähigere Modelle auf diesen Fragen besser abschneiden, validiert den Ansatz als zuverlässigen Benchmark für die nächste Generation von KI-Modellen.

Zusammenfassend bietet die Arbeit einen vollständigen, automatisierten Workflow von der Idee bis zur Evaluierung, der die Notwendigkeit manueller Kuratierung für große Mengen an Vorhersagefragen überflüssig macht.