🤖 AI

MIRA-Math: A Benchmark for Minimal Information Requesting and Mathematical Reasoning

Das Papier stellt MIRA-Math vor, einen deterministischen Benchmark bestehend aus 2.310 mathematischen Problemen, bei denen die Solver eine einzige fehlende atomare Tatsache identifizieren und anfordern müssen, bevor sie unter einem strikten Budget die endgültige Antwort berechnen, wodurch eine getrennte Evaluierung der informationssuchenden und der Denkfähigkeiten von Sprachmodellen ermöglicht wird.

Ursprüngliche Autoren: Charbel Al Bateh, Samer Saab Jr

Veröffentlicht 2026-07-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Charbel Al Bateh, Samer Saab Jr

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein komplexes Rätsel zu lösen, wie etwa ein Sudoku oder eine Matheaufgabe. Normalerweise, wenn Sie einen Test machen oder ein intelligentes Computerprogramm benutzen, werden Ihnen alle Teile gegeben, die Sie benötigen, um das Bild fertigzustellen. Sie müssen sie nur noch korrekt zusammensetzen.

Aber in der realen Welt sind Informationen oft unvollständig. Sie kennen vielleicht die Regeln eines Spiels, aber Sie kennen nicht den Spielstand. Oder Sie kennen ein Rezept, aber Sie wissen nicht, wie viel Salz Sie hinzufügen müssen.

MIRA-Math ist ein neuer „Test“, der dazu dient zu prüfen, ob KI-Modelle (wie die intelligenten Chatbots, die wir heute nutzen) mit genau dieser Situation umgehen können: zu wissen, was sie nicht wissen, und nach genau dem richtigen Puzzleteil zu fragen, um die Aufgabe zu vollenden.

Hier erklärt das Paper dies unter Verwendung einfacher Analogien:

1. Das „Fehlende-Zutat“-Spiel

Die meisten Mathetests für KIs sind so aufgebaut, dass man einem Koch ein vollständiges Rezept und alle Zutaten gibt und ihn dann fragt, ob er einen Kuchen backen kann. Die Prüfung lautet: „Kannst du den Kuchen backen?“

MIRA-Math ist anders. Es gibt der KI ein Rezept, das bewusst unvollständig ist.

Das Setup: Die KI sieht eine Matheaufgabe, aber eine entscheidende Zahl oder ein Fakt ist verborgen (wie eine fehlende Zutat).
Das Ziel: Die KI muss erkennen, dass etwas fehlt, dies in natürlicher Sprache abfragen und dann diesen neuen Fakt nutzen, um das Problem zu lösen.
Der Haken: Die KI hat ein striktes „Budget“. Sie darf nur wenige Fragen stellen. Wenn sie das Falsche oder zu vage fragt, scheitert sie.

2. Der „Strenge Bibliothekar“

Um diesen Test fair und präzise zu gestalten, führt das Paper einen speziellen Charakter ein: einen Fixed Information Holder (denken Sie an einen sehr strengen, buchstäblich denkenden Bibliothekar).

Die Aufgabe des Bibliothekars: Dieser Bibliothekar hält den einen fehlenden Fakt bereit. Er hilft Ihnen nicht beim Lösen des Problems. Er gibt Ihnen keine Hinweise. Er erklärt nichts.
Die Regeln:
- Wenn Sie fragen: „Was ist die fehlende Zahl?“ (zu vage), sagt der Bibliothekar: „Das habe ich nicht.“
- Wenn Sie fragen: „Was ist der Wert der Variable X?“ (präzise), und der Bibliothekar besitzt genau diesen Fakt, händigt er ihn Ihnen aus.
- Wenn Sie nach etwas fragen, das er nicht hat, sagt er: „Nein.“

Dieses Setup testet, ob die KI in ihren Fragen präzise ist, nicht nur mathematisch begabt.

3. Zwei Arten von Herausforderungen

Das Paper hat 2.310 verschiedene Rätsel erstellt, die in zwei Kategorien unterteilt sind:

Typ A (Der „Feste Platz“): Die KI weiß, wo das fehlende Teil ist.
- Analogie: Stellen Sie sich ein Formular mit einer Lücke vor, auf der steht: „Geburtsdatum: ______“. Die KI weiß, dass sie nach dem Geburtsdatum fragen muss. Der Test besteht darin: Kann sie korrekt nach dem Geburtsdatum fragen und es dann nutzen, um die Matheaufgabe zu lösen?
Typ B (Der „Verborgene Platz“): Die KI muss finden, wo das fehlende Teil ist.
- Analogie: Stellen Sie sich ein Formular vor, bei dem eine von zehn Zeilen leer ist, aber es steht nicht dabei, welche. Die KI muss das gesamte Formular durchsehen, feststellen: „Oh, die Zeile ‚Telefonnummer‘ ist leer“, und dann gezielt nach dieser Sache fragen. Dies ist schwieriger, da die KI das Problem zuerst diagnostizieren muss.

4. Was die Tests enthüllten

Die Forscher haben viele verschiedene KI-Modelle getestet (einige sehr intelligente, andere kleinere) und fanden einige überraschende Dinge heraus:

Fragen und Lösen sind unterschiedliche Fähigkeiten: Nur weil eine KI in der Lage ist, die richtige Frage zu stellen, bedeutet das nicht, dass sie auch gut darin ist, die Mathematik danach durchzuführen.
- Beispiel: Eine KI fragte nach dem perfekten fehlenden Fakt (wie ein großartiger Detektiv), scheiterte dann aber an der Berechnung (wie ein schlechter Buchhalter).
- Beispiel: Eine andere KI erledigte die Mathematik perfekt, fragte aber nach dem falschen Fakt, weshalb sie nie zur Lösung kam.
Übung hilft nicht immer: Die Forscher versuchten, der KI Beispiele zu zeigen, wie man Fragen stellt (wie ein „Spickzettel“ oder „4-Shot Prompting“). Manchmal half dies, aber oft machte es die KI sogar schlechter.
- Warum? Die KI begann, die Beispiele zu starr zu kopieren. Anstatt das spezifische Problem vor sich zu betrachten, wiederholte sie einfach das Muster, das sie in den Beispielen sah, selbst wenn das Problem eine andere Frage erforderte.

5. Warum das wichtig ist

Die Autoren sagen, dass dieser Benchmark wie ein Diagnosewerkzeug für Ärzte ist.

Aktuelle Tests sagen Ihnen, ob ein Schüler eine Aufgabe lösen kann, wenn er alle Notizen hat.
MIRA-Math sagt Ihnen, ob ein Schüler eine Lücke in seinem Wissen identifizieren und effektiv kommunizieren kann, um diese zu füllen.

Das Paper kommt zu dem Schluss, dass eine KI, um in der realen Welt – in der Informationen oft unvollständig sind – wirklich nützlich zu sein, diese spezifische Fähigkeit meistern muss: genau zu wissen, wonach sie fragen muss, und diese Antwort dann korrekt zu verwenden.

Kurz gesagt: MIRA-Math testet nicht nur, ob eine KI Mathe beherrscht; es testet, ob eine KI zugeben kann, was sie nicht weiß, und die richtige Frage stellt, um dies zu beheben, ohne verwirrt zu werden oder zu raten.

Technisches Resümee: MIRA-Math

Problemstellung

Aktuelle Benchmarks für mathematisches Denken (z. B. GSM8K, MATH) stellen typischerweise alle notwendigen Fakten bereit, um ein Problem zu lösen, und bewerten primär die Fähigkeit eines Modells, aus einem vollständigen Zustand eine endgültige Antwort zu berechnen. Im Gegensatz dazu vermischen breitere interaktive Benchmarks mathematisches Denken mit Werkzeugnutzung, Informationsbeschaffung, Web-Navigation und langfristigem Dialogmanagement. Dies schafft eine diagnostische Lücke: Es ist schwierig zu isolieren, ob ein Modell scheitert, weil es nicht in der Lage ist, fehlende Informationen zu identieren, diese Informationen präzise anzufordern oder die erworbenen Informationen in eine korrekte Lösung zu integrieren.

MIRA-Math adressiert dies durch die Einführung eines Benchmarks für minimale Informationsanforderung. Das Kernproblem ist definiert als das Lösen mathematischer Probleme, bei denen der vollständige latente Zustand eine eindeutige Antwort $y$ bestimmt, die Sicht des Löser-Agenten jedoch bewusst unvollständig ist und genau eine notwendige atomare Tatsache vermissen lässt. Der Löser muss die fehlende Tatsache erkennen, sie unter einem strikten Budget in natürlicher Sprache anfordern und die zurückgegebene Tatsache integrieren, um eine exakte Endantwort zu produzieren.

Methodik

Aufgabenformalisierung

Jede Instanz wird aus einem vollständigen latenten Zustand $z$ generiert, der eine eindeutige Zielantwort $y = f(z)$ bestimmt. Der Löser erhält eine private Sicht $v_A = \phi_A(z)$ , die eine notwendige atomare Tatsache auslässt. Der Benchmark erzwingt zwei Bedingungen:

Globale Wohldefiniertheit: Der vollständige Zustand (Sicht + fehlende Tatsache) ergibt genau eine konsistente Antwort.
Lokale Unterdeterminierung: Die alleinige private Sicht des Löser-Agenten ergibt mehrere konsistente Antworten.

Interaktionsprotokoll

Die Evaluierung umfasst zwei Agenten:

Löser (Agent A): Erhält die private Sicht und ein Anforderungsbudget $B$ . Er gibt freiformulierte Anfragen in natürlicher Sprache ab oder liefert eine endgültige Antwort.
Informationsinhaber (Agent B): Ein fixer, beschränkter LLM (in den Experimenten als gpt-4o-mini implementiert), der nur die fehlende atomare Tatsache besitzt. Er operiert unter einem strukturierten Ausgabeprotokoll:
- Angebot: Wenn die Anfrage semantisch mit der gehaltenen Tatsache übereinstimmt, gibt er die Tatsache mit has_exact_match=true zurück.
- Ablehnung: Wenn die Anfrage nicht übereinstimmt, gibt er eine feste Ablehnungsmeldung zurück.
- Der Inhaber löst nicht, erklärt nicht, verhandelt nicht und bietet keine zusätzlichen Hinweise an.

Datensatzkonstruktion

MIRA-Math enthält 2.310 Instanzen, die aus 22 typisierten mathematischen Familien (darunter Algebra, Wahrscheinlichkeit, lineare Systeme, Signalverarbeitung, Markov-Ketten usw.) abgeleitet wurden. Der Datensatz ist in zwei Typen unterteilt:

Typ A (Fester Hinweis-Slot): Die fehlende Information ist strukturell determiniert (z. B. eine Bayes-Regel-Instanz, bei der immer die Prior-Wahrscheinlichkeit ausgelassen wird).
Typ B (Variabler Hinweis-Slot): Die Position der fehlenden Information variiert pro Instanz (z. B. ein fehlender Koeffizient in einem linearen System oder ein fehlender Widerstand in einem Schaltkreis), was den Löser dazu zwingt, den fehlenden Slot zu lokalisieren, bevor er ihn anfordert.

Das Release umfasst den Generator-Code, exakte Verifizierer, kanonische Spezifikationen für Hinweise sowie die rohen Interaktionsprotokolle, um die Reproduzierbarkeit zu gewährleisten.

Metriken

Der Benchmark trennt die Informationsbeschaffung vom mathematischen Integrationsprozess mittels folgender Metriken:

Request Hit Rate: Verhältnis von akzeptierten Anfragen zur Gesamtzahl der Nachrichten.
First-Request Success: Anteil der Instanzen, bei denen die erste Anfrage akzeptiert wird.
Trace-Level Dekomposition: Instanzen werden in drei disjunkte Kategorien klassifiziert:
1. Kein kanonischer Hinweis erworben: Der Löser hat versäumt, die korrekte Tatsache anzufordern.
2. Hinweis erworben, Integration fehlgeschlagen: Der Löser hat die Tatsache erhalten, aber die falsche Antwort berechnet.
3. Erfolg: Der Löser hat die Tatsache erworben und die korrekte Antwort berechnet.

Kernergebnisse

Experimente über Frontier-Modelle und kleine Modelle hinweg (einschließlich gpt-5.1, Gemma-4, gemini-2.5-flash, Grok-4.20 und Llama-3.1-8B) zeigen, dass Anfordern und Lösen trennbare Fähigkeiten sind:

Divergenz der Fähigkeiten: Eine hohe Request-Performance garantiert keine hohe Genauigkeit der Endantwort. Beispielsweise erreichte gemini-2.5-flash die höchste Request Hit Rate in Zero-Shot-Settings, hatte jedoch eine geringere finale Genauigkeit als gpt-5.1 und Gemma-4. Umgekehrt erreichte Gemma-4 die höchste Zero-Shot-Endgenauigkeit, ohne die höchsten Request-Metriken zu erzielen.
Fehlermodi:
- Beschaffungsfehler: Modelle scheitern oft daran, den spezifischen fehlenden Slot zu identifizieren oder fragen zu vage an, was zu wiederholten Ablehnungen führt.
- Integrationsfehler: Stärkere Modelle erwerben oft erfolgreich den kanonischen Hinweis, scheitern aber an der nachgelagerten exakten Arithmetik, der symbolischen Rekonstruktion oder der Antwortnormalisierung.
Prompting-Effekte: Four-Shot-Prompting (Bereitstellung von Beispielen für minimale Anfragen) verbesserte die Leistung nicht einheitlich. In Typ-B-Familien, in denen der fehlende Slot variiert, führten Few-Shot-Beispiele manchmal zu „Exemplar-Verankerung“ (Exemplar Anchoring), wodurch die Modelle dazu neigten, die demonstrierten Anforderungsformen zu imitieren, anstatt sich an den spezifischen fehlenden Slot anzupassen, was die Leistung potenziell verschlechterte.
Typ A vs. Typ B: Typ-B-Familien (variable Slots) waren hinsichtlich der finalen Genauigkeit nicht einheitlich schwieriger; starke Modelle schnitten bei Typ B oft besser ab als bei Typ A. Typ A enthielt jedoch Aufgaben, bei denen die Anforderung einfach war, die nachgelagerte Berechnung jedoch instabil (z. B. exakte Rekonstruktion des Chinesischen Restsystems).

Bedeutung und Ansprüche

Das Paper positioniert MIRA-Math nicht als Ersatz für mathematische Benchmarks mit vollständiger Information, sondern als diagnostisches Werkzeug, um verborgene Strukturen und Evaluierungslücken aufzuzeigen. Die primäre Bedeutung liegt in:

Isolierung eines spezifischen Engpasses: Es misst explizit die Fähigkeit, unterdeterminierte Probleme zu erkennen, die fehlende atomare Tatsache zu identifizieren und diese präzise anzufordern, und trennt dies von der Fähigkeit, die endgültige Antwort zu berechnen.
Datenzentriertes Design: Entsprechend aktuellen Trends im verantwortungsvollen Datendesign priorisiert das Release die Reproduzierbarkeit durch die Bereitstellung von Generatoren, Verifizierern und Rohprotokollen, was es der Community ermöglicht, die „Request-to-Solve“-Pipeline zu prüfen, anstatt sich nur auf aggregierte Genauigkeiten zu verlassen.
Verfeinerung der Evaluierung: Die Ergebnisse zeigen, dass die Leistung eines Modells in Standard-Mathematik-Benchmarks nicht zwangsläufig Kompetenz in der Informationsbeschaffung impliziert. Ein Modell kann stark in Mathematik sein, aber bei MIRA-Math scheitern, wenn es nicht identifizieren kann, was fehlt, oder es kann gut im Fragen sein, aber bei der Mathematik scheitern.

Die Autoren kommen zu dem Schluss, dass MIRA-Math als Basis-Suite für zukünftige Modelle und als Analysewerkzeug dient, um zu untersuchen, wann Sprachmodelle nach fehlenden mathematischen Informationen fragen, anstatt zu raten, ohne dabei den Anspruch zu erheben, offene Kollaboration, menschliche Kommunikation oder reale Entscheidungsfindung zu messen.