Reasoning as Compression: Unifying Budget Forcing via the Conditional Information Bottleneck
Este artículo propone un enfoque unificado para la generación eficiente de razonamiento en modelos de lenguaje mediante el Principio del Cuello de Botella de Información Condicional (CIB), que reformula el problema como una compresión con pérdidas para eliminar el relleno cognitivo sin sacrificar la lógica, superando las limitaciones de los métodos actuales de "forzamiento de presupuesto" mediante una función de objetivo de aprendizaje por refuerzo que prioriza la información semántica sobre el simple conteo de tokens.