Mirror Horizon: Viable Path Entropy as a Measure of Bounded Reflection

Resumen Técnico: Horizonte de Espejo y Entropía de Trayectoria Viable

Planteamiento del Problema
Las métricas de evaluación actuales para los modelos de lenguaje extensos (LLM)—como la pérdida, la precisión, pass@k y las puntuaciones de benchmarks—colapsan la capacidad interna de un sistema en estadísticas de resultados únicos. Estas métricas no logran distinguir entre un modelo que resuelve un problema una vez y falla repetidamente, un modelo que resuelve menos problemas pero revela estrategias de solución diversas, y un modelo con alta entropía de salida bruta pero poca estructura verificada. El artículo sostiene que la capacidad no debe definirse meramente por el éxito de un solo intento o por el conteo de parámetros, sino por la estructura de continuaciones viables que un sistema puede sostener bajo reflexión repetida.

Metodología
El artículo operacionaliza la "Teoría del Espejo" a través de una nueva medida llamada Entropía de Trayectoria Viable (VPE, por sus siglas en inglés), definida como una medida de capacidad de continuación verificada con presupuesto finito.

1. Andamiaje Teórico:

   • El Espejo como Ley de Continuación: Un espejo se define no como una representación estática (por ejemplo, un vector oculto), sino como la estructura interna que induce una ley de continuaciones viables.
   • Componentes: La teoría integra la intuición (restricciones locales de la evidencia), el gusto (presión de selección que preserva invariantes valorados) y la geometría (estructura aprendida que asegura una selección estable).
   • Compatibilidad Constructiva: Una posibilidad es "constructivamente compatible" si aumenta la capacidad de continuación viable de presupuesto finito sin romper los invariantes.

2. La Medida (VPE):

   • Dado un presupuesto $B$ (rollouts), un horizonte $T$ (tokens), un verificador $V$ y un mapa de modos $\psi$, la VPE se define como:
     $$H_{B,T}(M) = \log \Pr[V=1] + H(\psi \mid V=1)$$
   • Término 1 (Alcance Verificado): La probabilidad de alcanzar una continuación viable ($\Pr[V=1]$).
   • Término 2 (Diversidad de Modos Verificados): La entropía de los modos semánticos alcanzados entre los rollouts exitosos.
   • Esta descomposición separa la amplitud (¿puede el modelo resolver el problema?) de la profundidad/diversidad (¿de cuántas formas distintas y verificadas puede resolverlo?).

3. Instanciación Experimental:

   • Tarea: Problemas de razonamiento matemático GSM8K.
   • Modelos: Familia Qwen2.5-Instruct (0.5B, 1.5B y 3B parámetros).
   • Protocolo: 30 problemas, 32 rollouts muestreados por problema, temperatura 0.8, top-p 0.95.
   • Variables: Se probaron dos horizontes de reflexión: 96 tokens y 160 tokens.
   • Verificador: Un extractor basado en regex estricto que comprueba la corrección numérica frente a las respuestas de oro (gold answers).
   • Mapa de Modos: Una función heurística que agrupa soluciones verificadas por bins de longitud, firma de operador, conteo de ecuaciones y estilo de razonamiento.

Contribuciones Clave

1. Teoría del Espacio de Trayectoria Formal: Una versión de la Teoría del Espejo donde los espejos se definen como leyes de continuación en lugar de estados estáticos.
2. Entropía de Trayectoria Viable (VPE): Una definición de horizonte de espejo que descompone la capacidad acotada en alcance verificado y diversidad de modos verificados.
3. Conexión Teórica: Vincular conceptos abstractos (intuición, gusto, geometría, compatibilidad constructiva) con el objeto medible de la VPE.
4. Validación Empírica: Experimentos que demuestran que el presupuesto de reflexión expande la capacidad de continuación verificada y que el horizonte de espejo es distinto del conteo de parámetros.

Resultados

• Expansión del Presupuesto: Aumentar el horizonte de tokens de 96 a 160 mejoró sustancialmente todas las métricas para los modelos 0.5B y 1.5B. La probabilidad verificada aumentó, las fracciones de cero verificación disminuyeron y la entropía de modo verificado incrementó.
• Desempeño del Modelo a 160 Tokens:
  • Qwen2.5-1.5B logró el horizonte de espejo más fuerte entre todos los modelos probados, dominando en probabilidad verificada, pass@32, fracción de cero verificación y entropía de modo verificado.
  • Qwen2.5-3B no superó al modelo 1.5B. Aunque tuvo una probabilidad promedio verificada mayor que el modelo 0.5B, exhibió menor amplitud (menor pass@32) y una entropía de modo verificado significativamente menor que el modelo 1.5B.
• Curvas de Cobertura: Las curvas de cobertura empírica mostraron que el modelo 1.5B alcanzó un mayor número esperado de modos verificados distintos a través de todos los presupuestos de rollout ($b \in \{1, \dots, 32\}$), confirmando que su "horizonte de espejo" se despliega de manera más efectiva con el aumento del presupuesto.

Significancia y Reivindicaciones
El artículo sostiene que proporciona un relato a nivel de medida de la capacidad, argumentando que la fuerza de un sistema reside en la estructura de las continuaciones viables que puede hacer alcanzables bajo un protocolo de reflexión acotado, más que en el conteo bruto de parámetros o la precisión de una sola respuesta.

• Horizonte Condicionado por el Protocolo: Los resultados demuestran que el horizonte de espejo no es un escalar intrínseco de un modelo, sino que depende del protocolo (presupuesto, verificador, mapa de modos). Un modelo más grande (3B) puede tener un horizonte de espejo accesible menor que un modelo más pequeño (1.5B) bajo restricciones específicas.
• Más allá de Pass@k: La VPE revela distinciones ocultas por pass@k. Un modelo puede tener un pass@k alto pero una baja diversidad de modo (resolviendo problemas de una manera única y frágil), mientras que la VPE captura la robustez de poseer múltiples modos de solución verificados.
• Operacionalización de la Reflexión: El experimento valida la afirmación teórica de que aumentar el horizonte de reflexión (presupuesto de tokens) permite que la estructura interna del espejo se despliegue, revelando más continuaciones viables.

El artículo mantiene la modestia, reconociendo que el mapa de modos actual es grueso y que los experimentos son un piloto. No pretende establecer una ley de escala universal, sino establecer que la ley de continuación verificada es un objeto útil y medible para estudiar la reflexión acotada en sistemas inteligentes.