💬 NLP

ConPress: Learning Efficient Reasoning from Multi-Question Contextual Pressure

ConPress ist eine leichtgewichtige, selbstüberwachte Fine-Tuning-Methode, die das Phänomen der „Selbstkompression“ nutzt, bei dem Modelle ihre Reasoning-Traces natürlicherweise verkürzen, wenn sie mit mehreren Fragen konfrontiert werden, um große Reasoning-Modelle darauf zu trainieren, prägnante und genaue Lösungen für Einzelaufgaben zu generieren, wodurch der Inferenzaufwand ohne externe Lehrer oder Reinforcement Learning signifikant reduziert wird.

Ursprüngliche Autoren: Jie Deng, Shining Liang, Jun Li, Hongzhi Li, Yutao Xie

Veröffentlicht 2026-06-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jie Deng, Shining Liang, Jun Li, Hongzhi Li, Yutao Xie

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen brillanten, überenthusiastischen Schüler, der unglaublich klug ist, aber eine schlechte Angewohnheit hat: zu viel nachzudenken (Overthinking).

Wenn Sie diesem Schüler eine einfache Mathefrage wie „Was ist 2 + 2?“ stellen, schreibt er nicht einfach nur „4“. Er schreibt stattdessen einen 50-seitigen Essay. Er beginnt damit, sich zu fragen, ob er die Addition korrekt erinnert, dann visualisiert er Äpfel, dann überprüft er seine Finger, dann debattiert er über die philosophische Natur der Zahlen, und schließlich – nach 20 Seiten voller „Warte, lass mich das noch einmal überprüfen“ – kommt er zum Ergebnis.

Genau das machen moderne „Large Reasoning Models“ (KI). Sie generieren riesige Mengen an Text (genannt „Chain-of-Thought“), um Probleme zu lösen. Während dies oft zu korrekten Antworten führt, ist es unglaublich langsam, teuer und voller unnötiger Ausschmückungen.

Das Paper ConPress führt einen cleveren Trick ein, um diesen Schüler beizubringen, prägnant zu sein, ohne seine Intelligenz zu verlieren. So funktioniert es, auf einfache Konzepte heruntergebrochen:

1. Die Entdeckung: Der „Crowded Room“-Effekt (Der Effekt des vollen Raums)

Den Forschern fiel etwas Merkwürdiges auf, als sie die Regeln des Spiels änderten.

Der alte Weg (Einzelne Frage): Wenn man der KI eine einzige Frage in einem ruhigen Raum stellt, hat sie das Gefühl, alle Zeit der Welt zu haben. Sie lässt sich Zeit und schwadroniert durch jeden möglichen Gedankengang.
Der neue Weg (Druck durch mehrere Fragen): Wenn man drei oder vier verschiedene Fragen in denselben Prompt packt und der KI sagt: „Beantworte all diese jetzt sofort“, passiert etwas Magisches. Die KI hört plötzlich auf zu schwadronieren.

Die Analogie: Stellen Sie sich vor, Sie sind auf einer Dinnerparty.

Wenn Sie der einzige sind, der mit dem Gastgeber spricht, erzählen Sie vielleicht eine lange, ausschweifende Geschichte mit vielen Details.
Aber wenn der Gastgeber sagt: „Okay, wir haben hier 10 Leute und wir müssen von jedem eine kurze Geschichte hören, bevor es Nachtisch gibt“, kommen Sie plötzlich auf den Punkt. Sie lassen das „Ähm“, das „Lass mich mal kurz nachdenken“ und das „Warte, lass mich das kurz prüfen“ weg. Sie liefern einfach den Kern der Geschichte.

Die Forscher nennen dies „Self-Compression“ (Selbstkompression). Der Druck, mehrere Fragen gleichzeitig beantworten zu müssen, zwingt die KI dazu, den Ballast abzulefen und direkt zur Logik zu kommen.

2. Die Lösung: ConPress (Kontextueller Druck)

Das Team erkannte, dass sie diesen „Crowded Room“-Effekt nutzen können, um die KI dauerhaft effizienter zu machen. Sie entwickelten eine Methode namens ConPress.

Hier ist der schrittweise Prozess, den sie verwendet haben:

Der Stresstest: Sie nahmen eine Reihe von Matheaufgaben und gruppierten sie in Batches (z. B. 3 Fragen gleichzeitig). Sie baten die KI, alle auf einmal zu lösen.
Der Filter: Da die KI unter Zeitdruck stand, unterliefen ihr manchmal Fehler. Deshalb behielten die Forscher nur die Antworten, die zu 100 % korrekt waren. Die falschen Antworten warfen sie weg.
Die Lektion: Sie nahmen diese kurzen, korrekten Antworten (die „komprimierte“ Argumentation) und nutzten sie, um der KI beizubringen, wie sie auch in Zukunft einzelne Fragen beantwortet.

Die Analogie: Es ist wie ein Trainer, der einen Sprinter beobachtet, der ein Rennen läuft, während er einen schweren Rucksack trägt (der Druck durch mehrere Fragen). Der Sprinter lernt, effizient zu laufen, um das Gewicht zu tragen. Der Trainer nimmt den Sprinter dann, entfernt den Rucksack und sagt: „Laufe jetzt so, wie du gelaufen bist, als du den Rucksack noch hattest.“ Der Sprinter behält auch ohne das Gewicht den effizienten Laufstil bei.

3. Die Ergebnisse: Schneller, billiger, immer noch klug

Die Ergebnisse waren beeindruckend. Durch den Einsatz dieser Methode wurden die KI-Modelle signifikant effizienter:

Weniger Reden: Die Modelle verwendeten 30 % bis 60 % weniger Wörter (Tokens), um dieselben Probleme zu lösen.
Gleiche Intelligenz: Trotz der deutlich kürzeren Texte lieferten sie fast genauso oft die richtigen Antworten wie zuvor.
Keine externen Lehrer: Im Gegensatz zu anderen Methoden, die ein „Lehrer-KI“ benötigen, um die Antworten umzuschreiben oder komplexe Belohnungssysteme nutzen, lehrte diese Methode die KI durch ihr eigenes Verhalten. Es war eine „selbstüberwachte“ Lektion.

Was sie NICHT behauptet haben

Es ist wichtig, sich an das zu halten, was das Paper tatsächlich aussagt:

Sie haben nicht behauptet, dass dies für medizinische Diagnosen oder Rechtsberatung funktioniert.
Sie haben nicht behauptet, dass dies die KI im Sinne der rohen Intelligenz „schlauer“ macht; es macht sie lediglich schneller und kostengünstiger im Umgang mit der bereits vorhandenen Intelligenz.
Sie haben nicht angedeutet, dass dies funktioniert, indem man der KI im Moment der Beantwortung einfach sagt: „Sei kurz“. Das Paper hat dies explizit getestet und festgestellt, dass es nicht gut funktionierte. Die KI muss die Gewohnheit durch das Training (ConPress) lernen, um die Effizienz beizubehalten.

Zusammenfassung

Das Paper ConPress entdeckte, dass eine Reasoning-KI von Natur aus aufhört zu überdenken und anfängt, prägnant zu sein, wenn man sie durch das gleichzeitige Stellen mehrerer Fragen unter Druck setzt. Sie nutzten diesen „Druck“, um die KI darauf zu trainieren, selbst dann effizient zu sein, wenn sie später nur noch eine einzelne Frage beantworten muss. Das Ergebnis ist eine intelligentere, schnellere und kosteneffizientere KI, die keine Zeit mit Abschweifungen verschwendet.

Technisches Resümee: ConPress – Lernen effizienter Argumentation durch kontextuellen Druck bei Mehrfachfragen

Problemstellung

Große Reasoning-Modelle (LRMs) wie OpenAI-O1, DeepSeek-R1 und Qwen3 erreichen eine hohe Leistungsfähigkeit bei komplexen Aufgaben, indem sie umfangreiche Chain-of-Thought (CoT)-Spuren generieren. Diese Verbosiät führt jedoch häufig zu „Overthinking“, wobei Modelle redundante Zwischenschritte produzieren, was die Inferenzlatenz, die Token-Kosten und den Deployment-Overhead erheblich steigert. Bestehende Methoden zur Milderung dieses Effekts, wie etwa Supervised Fine-Tuning (SFT) mit Lehrer-Modellen oder Reinforcement Learning (RL) mit Längenstrafen, leiden unter hohen Trainingskosten, der Abhängigkeit von externer Supervision oder der Sensitivität gegenüber dem Reward-Design. Die Arbeit adressiert die grundlegende Frage, ob LRMs natürlich kürzere Argumentationsspuren erzeugen können und wie dieses Verhalten für eine effiziente Einzelfragen-Inferenz ohne externe Lehrer oder RL internalisiert werden kann.

Methodik: ConPress

Die Autoren schlagen ConPress (Learning from Contextual Pressure) vor, ein leichtgewichtiges, selbstüberwachtes Fine-Tuning-Framework. Die Methode basiert auf der Beobachtung eines reproduzierbaren Phänomens während der Inferenz, das als Selbstkompression bezeichnet wird.

1. Das Phänomen der Selbstkompression

Die Autoren identifizieren, dass ein LRM, wenn es mit einem Prompt konfrontiert wird, der mehrere unabhängige, beantwortbare Fragen ( $N > 1$ ) enthält, spontan signifikant kürzere Argumentationsspuren für jede einzelne Frage generiert als bei Einzelfragen-Prompts ( $N=1$ ).

Mechanismus: Diese Kompression entsteht durch „kontextuellen Druck bei Mehrfachfragen“. Das Modell muss mehrere Argumentationsprozesse innerhalb einer gemeinsamen Antwort abschließen, was die lokalen Fortsetzungen hin zu prägnanteren Pfaden verzerrt, die redundante Schritte entfernen, während die Kernstruktur der Schlussfolgerung erhalten bleibt.
Charakteristika: Das Phänomen ist über verschiedene Modelle hinweg (z. B. DeepSeek-R1-Distill-Qwen, Qwen3) und Datensätze hinweg reproduzierbar. Die Intensität der Kompression skaliert mit der Anzahl der Fragen ( $N$ ) und ist weitgehend strukturell; sie bleibt auch dann robust, wenn die Hilfsfragen trivial sind.

2. Die ConPress-Pipeline

ConPress nutzt dieses Phänomen, um effiziente Argumentationen durch einen dreistufigen Prozess auf Standard-Einzelfragen-Settings zu destillieren:

Mehrfachfragen-Sampling: Das Modell sampelt $N$ unabhängige Fragen aus einem Datensatz und verpackt sie in einen einzigen Prompt. Das Modell generiert Argumentationsspuren und Antworten für alle Fragen innerhalb dieses Kontextes.
Extraktion komprimierter Spuren: Die Autoren wenden Rejection Sampling an und behalten nur jene Argumentationsspuren ( $r_i$ ), bei denen die vorhergesagte Antwort ( $\hat{o}_i$ ) mit der Grundwahrheit ( $o_i$ ) übereinstimmt. Dies stellt sicher, dass die destillierten Daten aus prägnanten, aber korrekten Trajektorien bestehen.
Einzelfragen-Transfer: Der gefilterte Datensatz aus prägnanten, korrekten Spuren wird verwendet, um ein Standard-Supervised Fine-Tuning (SFT) auf Einzelfragen-Inputs durchzuführen. Das Modell lernt, das unter Mehrfachfragen-Druck beobachtete, komprimierte Argumentationsverhalten zu reproduzieren und es für die Standard-Inferenz zu internalisieren.

Entscheidend ist, dass dieser Prozess keine externen Lehrer-Modelle, manuellen Pruning-Heuristiken oder Reinforcement Learning erfordert.

Zentrale Beiträge

Identifikation der Selbstkompression: Die Arbeit charakterisiert systematisch ein reproduzierbares Inferenz-Phänomen, bei dem LRMs unter Mehrfachfragen-Kontexten kürzere CoT-Spuren generieren, ohne dass explizite Längenbeschränkungen vorliegen.
ConPress-Framework: Eine leichtgewichtige, selbstüberwachte Methode, die dieses komprimierte Argumentationsverhalten aus Mehrfachfragen- auf Einzelfragen-Settings extrahiert und überträgt.
Empirische Validierung: Die Autoren zeigen, dass ConPress eine erhebliche Reduktion des Argumentations-Token-Verbrauchs (30–60 %) auf anspruchsvollen Benchmarks erreicht, während es eine konkurrenzfähige Genauigkeit beibehält, wodurch ein günstiges Genauigkeits-Effizienz-Verhältnis offenbart wird.

Experimentelle Ergebnisse

Die Autoren evaluierten ConPress auf drei Reasoning-Modellen (Qwen3-4B-Thinking, R1-Distill-Qwen-7B, R1-Distill-Qwen-1.5B) über mehrere Benchmarks hinweg (MATH500, AIME25, GSM8K, Olympiad, AMC).

Token-Reduktion: ConPress reduzierte den Argumentations-Token-Verbrauch um 59 % bei MATH500 und um 33 % bei AIME25 für das Modell Qwen3-4B-Thinking. Über alle Modelle hinweg lag die durchschnittliche Token-Reduktion zwischen 33,9 % und 48,7 %.
Genauigkeitserhalt: Trotz aggressiver Kompression war der Genauigkeitsverlust minimal. Für Qwen3-4B-Thinking betrug der durchschnittliche Genauigkeitsabfall lediglich 0,6 Punkte; für R1-Distill-Qwen-7B blieb die Genauigkeit effektiv erhalten.
Vergleich mit Baselines:
- RFTshortest (Auswahl der kürzesten korrekten Antwort aus mehreren Samples) lieferte nur marginale Token-Reduktionen.
- DPOshortest erreichte moderate Kompression, jedoch oft auf Kosten spürbarer Genauigkeitsverluste.
- RL-basierte Methoden (z. B. LC-R1, AdaptThink) erreichten starke Kompression, erforderten jedoch komplexe Trainings-Pipelines und litten unter größeren Genauigkeitsrückgängen.
- Test-time Compression (direkte Verwendung von Mehrfachfragen-Prompts zur Inferenz) reduzierte die Tokens, verursachte jedoch schwere Genauigkeitsverluste (z. B. durchschnittlich -31,3 Punkte für MQ-N3).
Generalisierung: Die Methode generalisierte auf Out-of-Distribution-Aufgaben (MMLU-STEM) und reduzierte die Tokens um ca. 33–36 % bei geringem Genauigkeitsverlust.
Ablationsstudien: Eine Erhöhung der Anzahl der Fragen ( $N$ ) im Sampling-Prompt steigerte die Kompressionsstärke, jedoch mit abnehmendem Grenznutzen für die Token-Ersparnis jenseits von $N=3$ oder $N=4$ . Die Methode war robust gegenüber der Position der Zielfrage innerhalb des Mehrfachfragen-Prompts.

Bedeutung und Ansprüche

Die Arbeit behauptet, dass ConPress zeigt, dass selbstkomprimierte Argumentationsverhaltensweisen, die während der Inferenz induziert wurden, systematisch vom Modell selbst internalisiert werden können. Durch die Nutzung des strukturellen Drucks von Mehrfachfragen-Kontexten ermöglicht die Methode ein token-effizienteres Argumentieren, ohne auf explizite Längenbeschränkungen, externe Lehrer, manuelles Pruning oder Reinforcement Learning angewiesen zu sein.

Die Autoren positionieren dies als einen fundamentalen Wandel in der Art und Weise, wie Effizienz erreicht werden kann: Anstatt Modelle durch externe Strafen oder komplexes RL zur Prägnanz zu zwingen, kann man die inhärente kontextuelle Anpassungsfähigkeit des Modells ausnutzen, um es effizientes Argumentieren zu „lehren“. Der Ansatz wird als einfache, skalierbare und kosteneffiziente Alternative zu bestehenden Kompressionsstrategien präsentiert, die einen klaren Trade-off zwischen Argumentationslänge und Genauigkeit bietet, der die Effizienz bei minimalem Leistungsverlust begünstigt.