💬 NLP

ConPress: Learning Efficient Reasoning from Multi-Question Contextual Pressure

ConPress es un método de ajuste fino autosupervisado ligero que aprovecha el fenómeno de la "autocompresión", donde los modelos acortan naturalmente las trazas de razonamiento cuando se les presentan múltiples preguntas, para entrenar a los grandes modelos de razonamiento para generar soluciones concisas y precisas para tareas de una sola pregunta, reduciendo significativamente la sobrecarga de inferencia sin necesidad de profesores externos o aprendizaje por refuerzo.

Autores originales: Jie Deng, Shining Liang, Jun Li, Hongzhi Li, Yutao Xie

Publicado 2026-06-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jie Deng, Shining Liang, Jun Li, Hongzhi Li, Yutao Xie

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un estudiante brillante y entusiasta, alguien increíblemente inteligente pero con un mal hábito: pensar demasiado.

Cuando le haces una pregunta matemática sencilla como "¿Cuánto es 2 + 2?", no se limita a decir "4". En su lugar, escribe un ensayo de 50 páginas. Comienza preguntándose si recuerda correctamente la suma, luego visualiza manzanas, después revisa sus dedos, luego debate la naturaleza filosófica de los números y, finalmente, tras 20 páginas de "espera, déjame verificarlo dos veces", llega a la respuesta.

Esto es exactamente lo que hacen los "Modelos de Razonamiento de Gran Escala" (IA) modernos. Generan enormes cantidades de texto (llamado "Cadena de Pensamiento" o Chain-of-Thought) para resolver problemas. Si bien esto suele conducir a respuestas correctas, es increíblemente lento, costoso y está lleno de relleno.

El artículo ConPress introduce un truco ingenioso para enseñar a este estudiante a ser conciso sin perder su inteligencia. Así es como funciona, desglosado en conceptos simples:

1. El Descubrimiento: El efecto de la "Habitación Atestada"

Los investigadores notaron algo curioso que sucedía cuando cambiaban las reglas del juego.

La Forma Antigua (Pregunta Única): Si le haces una pregunta a la IA en una habitación silenciosa, siente que tiene todo el tiempo del mundo. Se toma su tiempo, divagando por cada posible camino de pensamiento.
La Nueva Forma (Presión de Multi-Preguntas): Si pones tres o cuatro preguntas diferentes en el mismo prompt y le dices a la IA: "Responde todas estas ahora mismo", algo mágico sucede. La IA de repente deja de divagar.

La Analogía: Imagina que estás en una cena.

Si eres la única persona hablando con el anfitrión, podrías contar una historia larga y sinuoso con muchos detalles.
Pero si el anfitrión dice: "Muy bien, hay 10 personas aquí y necesitamos escuchar una historia rápida de cada uno antes del postre", de repente vas al grano. Dejas los "ehhh", los "déjame pensar en esto" y los "espera, déjame revisar eso". Simplemente das la esencia de la historia.

Los investigadores llaman a esto "Autocompresión". La presión de tener que responder múltiples preguntas a la vez obliga a la IA a eliminar el relleno y centrarse directamente en la lógica.

2. La Solución: ConPress (Presión Contextual)

El equipo se dio cuenta de que podían usar este efecto de la "habitación atestada" para enseñar a la IA a ser eficiente de forma permanente. Crearon un método llamado ConPress.

Este es el proceso paso a paso que utilizaron:

La Prueba de Estrés: Tomaron un grupo de problemas matemáticos y los agruparon en lotes (por ejemplo, 3 preguntas a la vez). Le pidieron a la IA que resolviera todos de una sola vez.
El Filtro: Debido a que la IA tenía prisa, a veces cometía errores. Por ello, los investigadores solo conservaron las respuestas que eran 100% correctas. Desecharon las que estaban mal.
La Lección: Tomaron esas respuestas cortas y correctas (el razonamiento "comprimido") y las usaron para enseñar a la IA cómo responder a preguntas individuales en el futuro.

La Analogía: Es como un entrenador que observa a un velocista correr una carrera mientras lleva una mochila pesada (la presión de las multi-preguntas). El velocista aprende a correr de manera eficiente para cargar con el peso. El entrenador toma entonces al velocista, le quita la mochila y le dice: "Ahora, corre como lo hicías cuando tenías la mochila". El velocista mantiene la zancada eficiente incluso sin el peso.

3. Los Resultados: Más Rápido, Más Barato, Sigue Siendo Inteligente

Los resultados fueron impresionantes. Al usar este método, los modelos de IA se volvieron significativamente más eficientes:

Menos Palabras: Los modelos utilizaron entre un 30% y un 60% menos de palabras (tokens) para resolver los mismos problemas.
Misma Inteligencia: A pesar de decir mucho menos, seguían obteniendo las respuestas correctas casi tan a menudo como antes.
Sin Maestros Externos: A diferencia de otros métodos que requieren un modelo de IA "maestro" para reescribir las respuestas o sistemas de recompensa complejos, este método enseñó a la IA utilizando su propio comportamiento. Fue una lección "autosupervisada".

Lo que NO reclamaron

Es importante ceñirse a lo que realmente dice el artículo:

No afirmaron que esto funcione para diagnósticos médicos o asesoría legal.
No afirmaron que esto haga a la IA "más inteligente" en términos de inteligencia bruta; simplemente la hace más rápida y económica al usar la inteligencia que ya posee.
No sugirieron que esto funcione simplemente diciéndole a la IA "sé breve" en el momento de responder. El artículo probó explícitamente que eso no funcionaba bien. La IA tiene que aprender el hábito a través del entrenamiento (ConPress) para mantener la eficiencia.

Resumen

El artículo ConPress descubrió que, si se presiona a una IA de razonamiento haciéndole múltiples preguntas a la vez, esta naturalmente deja de pensar demasiado y comienza a ser concisa. Utilizaron este "apretón" para entrenar a la IA para que sea eficiente incluso cuando se le hace una sola pregunta más tarde. El resultado es una IA más inteligente, más rápida y más rentable que no pierde el tiempo divagando.

Resumen Técnico: ConPress – Aprendizaje de Razonamiento Eficiente mediante Presión Contextual Multipregunta

Planteamiento del Problema

Los Modelos de Razonamiento Grandes (LRM), como OpenAI-O1, DeepSeek-R1 y Qwen3, logran un alto rendimiento en tareas complejas mediante la generación de extensas trazas de Cadena de Pensamiento (CoT). Sin embargo, esta verbosidad a menudo conduce al "sobrepensamiento", donde los modelos producen pasos intermedios redundantes, lo que aumenta significativamente la latencia de inferencia, los costos de tokens y la sobrecarga de despliegue. Los métodos existentes para mitigar esto, como el Ajuste Fino Supervisado (SFT) con modelos maestros o el Aprendizaje por Refuerzo (RL) con penalizaciones de longitud, sufren de altos costos de entrenamiento, dependencia de supervisión externa o sensibilidad al diseño de recompensas. El artículo aborda la pregunta fundamental de si los LRM pueden producir naturalmente trazas de razonamiento más cortas y cómo internalizar este comportamiento para una inferencia de pregunta única eficiente sin maestros externos ni RL.

Metodología: ConPress

Los autores proponen ConPress (Aprendizaje mediante Presión Contextual), un marco de ajuste fino ligero y autosupervisado. El método se basa en la observación de un fenómeno reproducible en el tiempo de inferencia denominado Autocompresión.

1. El Fenómeno de la Autocompresión

Los autores identifican que cuando un LRM es presentado con un prompt que contiene múltiples preguntas independientes y contestables ( $N > 1$ ), genera espontáneamente trazas de razonamiento significativamente más cortas para cada pregunta individual en comparación con los prompts de una sola pregunta ( $N=1$ ).

Mecanismo: Esta compresión surge de la "presión contextual de múltiples preguntas". El modelo debe completar múltiples procesos de razonamiento dentro de una respuesta compartida, sesgando las continuaciones locales hacia caminos concisos que eliminan pasos redundantes mientras preservan las estructuras de inferencia centrales.
Características: El fenómeno es reproducible en diferentes modelos (por ejemplo, DeepSeek-R1-Distill-Qwen, Qwen3) y conjuntos de datos. La intensidad de la compresión escala con el número de preguntas ( $N$ ) y es mayoritariamente estructural, manteniéndose robusta incluso si las preguntas auxiliares son triviales.

2. El Pipeline de ConPress

ConPress aprovecha este fenómeno para destilar un razonamiento eficiente en entornos estándar de pregunta única a través de un proceso de tres pasos:

Muestreo de Múltiples Preguntas: El modelo muestrea $N$ preguntas independientes de un conjunto de datos y las empaqueta en un solo prompt. El modelo genera trazas de razonamiento y respuestas para todas las preguntas dentro de este contexto.
Extracción de Trazas Comprimidas: Los autores aplican el muestreo de rechazo, reteniendo únicamente las trazas de razonamiento ( $r_i$ ) donde la respuesta predicha ( $\hat{o}_i$ ) coincide con la verdad de campo ( $o_i$ ). Esto asegura que los datos destilados consistan en trayectorias concisas pero correctas.
Transferencia de Pregunta Única: El conjunto de datos filtrado de trazas concisas y correctas se utiliza para realizar un SFT estándar en entradas de pregunta única. El modelo aprende a reproducir el comportamiento de razonamiento comprimido observado bajo la presión de múltiples preguntas, internalizándolo para la inferencia estándar.

Crucialmente, este proceso no requiere modelos maestros externos, heurísticas de poda manual ni aprendizaje por refuerzo.

Contribuciones Clave

Identificación de la Autocompresión: El artículo caracteriza sistemáticamente un fenómeno reproducible en el tiempo de inferencia donde los LRM generan trazas de CoT por pregunta más cortas bajo contextos de múltiples preguntas sin restricciones de longitud explícitas.
Marco ConPress: Un método ligero y autosupervisado que extrae y transfiere este comportamiento de razonamiento comprimido de entornos de múltiples preguntas a entornos de pregunta única.
Validación Empírica: Los autores demuestran que ConPress logra reducciones sustanciales en el uso de tokens de razonamiento (30–60%) en benchmarks desafiantes, manteniendo una precisión competitiva, exponiendo un favorable equilibrio entre precisión y eficiencia.

Resultados Experimentales

Los autores evaluaron ConPress en tres modelos de razonamiento (Qwen3-4B-Thinking, R1-Distill-Qwen-7B, R1-Distill-Qwen-1.5B) a través de múltiples benchmarks (MATH500, AIME25, GSM8K, Olympiad, AMC).

Reducción de Tokens: ConPress redujo el uso de tokens de razonamiento en un 59% en MATH500 y un 33% en AIME25 para el modelo Qwen3-4B-Thinking. En todos los modelos, las reducciones promedio de tokens oscilaron entre el 33.9% y el 48.7%.
Preservación de la Precisión: A pesar de la compresión agresiva, la degradación de la precisión fue mínima. Para Qwen3-4B-Thinking, la caída promedio de precisión fue de solo 0.6 puntos; para R1-Distill-Qwen-7B, la precisión se preservó efectivamente.
Comparación con Baselines:
- RFTshortest (seleccionar la respuesta correcta más corta de múltiples muestras) produjo solo reducciones marginales de tokens.
- DPOshortest logró una compresión moderada pero a menudo a costa de caídas de precisión notables.
- Métodos basados en RL (ej. LC-R1, AdaptThink) lograron una fuerte compresión pero requirieron pipelines de entrenamiento complejos y sufrieron mayores declives de precisión.
- Compresión en Tiempo de Prueba (usar directamente prompts de múltiples preguntas en la inferencia) redujo los tokens pero causó una severa degradación de la precisión (ej. -31.3 puntos en promedio para MQ-N3).
Generalización: El método se generalizó a tareas fuera de la distribución (MMLU-STEM), reduciendo tokens en aproximadamente un 33–36% con una pérdida mínima de precisión.
Estudios de Ablación: Aumentar el número de preguntas ( $N$ ) en el prompt de muestreo incrementó la fuerza de la compresión, pero con retornos decrecientes en el ahorro de tokens más allá de $N=3$ o $N=4$ . El método fue robusto a la posición de la pregunta objetivo dentro del prompt de múltiples preguntas.

Significado y Reivindicaciones

El artículo afirma que ConPress demuestra que los comportamientos de razonamiento autocomprimidos inducidos en el tiempo de inferencia pueden ser sistemáticamente internalizados por el propio modelo. Al aprovechar la presión estructural de los contextos de múltiples preguntas, el método permite un razonamiento más eficiente en términos de tokens sin depender de restricciones de longitud explícitas, maestros externos, poda manual o aprendizaje por refuerzo.

Los autores posicionan esto como un cambio fundamental en cómo se puede lograr la eficiencia: en lugar de forzar a los modelos a ser concisos mediante penalizaciones externas o un RL complejo, se puede explotar la adaptabilidad contextual inherente del modelo para "enseñarle" a razonar eficientemente. El enfoque se presenta como una alternativa simple, escalable y rentable a las estrategias de compresión existentes, ofreciendo un equilibrio claro entre la longitud del razonamiento y la precisión que favorece la eficiencia con una pérdida de rendimiento mínima.