Resumen Técnico: ChronoState – Condicionamiento de Tiempo Transcurrido Oculto para la Selección de Acciones de Estado Temporal

1. Planteamiento del Problema

Los sistemas de modelos de lenguaje (LM) desplegados suelen interactuar con estados externos donde las decisiones dependen tanto del estado de la tarea simbólica (p. ej., "caché llena", "trabajo iniciado") como del tiempo transcurrido de reloj de pared (p. ej., "hace 5 minutos", "el cupo se restablece mañana"). En muchos escenarios, como los flujos de trabajo de defensa y seguridad, escribir marcas de tiempo explícitas en el prompt visible es subóptimo o riesgoso: puede filtrar la temporización del sistema, mezclarse con texto no confiable o quedar sepultado en contextos largos.

La pregunta de investigación central es si un modelo de lenguaje de columna vertebral congelada (frozen-backbone) puede utilizar un escalar no-token, del lado del sistema que represente el tiempo transcurrido ($\tau$) para componerse con el estado simbólico visible ($s$) para la selección de acciones temporales. El artículo investiga si este "tiempo oculto" (oculto del flujo de tokens pero accesible para la computación del modelo) puede impulsar decisiones deterministas sin requerir que el modelo rastree el tiempo de forma autónoma o reemplace a los controladores simbólicos.

2. Metodología

2.1 Interfaz de Inyección Cronométrica (CI)

La interfaz propuesta, Inyección Cronométrica, codifica los segundos transcurridos en un vector de características continuo e inyecta dicho vector en el flujo residual de un LM de columna vertebral congelada.

• Codificación de Tiempo: El tiempo transcurrido $\tau$ se mapea a un vector de características fijo de 31 dimensiones $\chi(\tau)$ utilizando una codificación sinusoidal más logarítmica:
  $$\chi(\tau) = [\sin(\tau/T_1), \cos(\tau/T_1), \dots, \sin(\tau/T_{15}), \cos(\tau/T_{15}), \log(1 + \tau)]^\top$$
  donde $T_k$ son divisores específicos que oscilan entre 2 y 604,800 segundos.
• Modulación: El vector de tiempo codificado modula los estados ocultos residuales $h_\ell$ en la capa transformer $\ell$ mediante modulación lineal por características con compuerta (gated FiLM):
  $$h'_\ell = h_\ell + \alpha_\ell \odot (\gamma_\ell \odot h_\ell + \beta_\ell)$$
  Aquí, $\gamma_\ell$ y $\beta_\ell$ son transformaciones afines de $\chi(\tau)$, y $\alpha_\ell$ es una compuerta aprendida por canal.
• Inicialización: Los proyectores de condicionamiento están inicializados en cero ($\alpha_\ell=0$, pesos=0, sesgos=1 para el escalado) de modo que, al inicio del entrenamiento, el modelo se comporta exactamente como la columna vertebral congelada, evitando cambios abruptos en la distribución.
• Adaptación: Se aplica una superficie LoRA de Rango-8 a las proyecciones de atención y a la cabeza del modelo de lenguaje para aprender la política de selección de acciones sobre los estados modulados. Los parámetros de la columna vertebral permanecen congelados.

2.2 El Benchmark ChronoState

ChronoState es un benchmark de elección forzada diseñado para evaluar el razonamiento de estado temporal.

• Tarea: Dado un prompt visible que describe el estado simbólico $s$ y un escalar oculto $\tau$, el modelo debe seleccionar una acción de un conjunto finito: $\{ \text{REUSE (REUTILIZAR), WAIT (ESPERAR), RETRIEVE (RECUPERAR), REFRESH (REFRESCAR), WAIT QUOTA (ESPERAR CUOTA), DEADLINE MISSED (PLAZO VENCIDO), ASK CONFIRM (PEDIR CONFIRMACIÓN)} \}$.
• Familias: El benchmark cubre seis familias: Cache (TTL), Job (duración), Deadline (margen), Quota (restablecimiento), Staleness (edad de la sesión) y Multi-constraint (composición de prioridades).
• Oráculo: Una política determinista $\pi(s, \tau)$ genera la etiqueta de referencia basada en reglas estrictas (p. ej., si $\tau \ge \text{TTL}$, entonces REFRESH).
• Divisiones (Splits): El conjunto de datos incluye conjuntos de prueba estándar y divisiones aisladas para plantillas (templates), duraciones (interpolación), composiciones (multi-restricción) y familias (cuota pura, que se excluye del entrenamiento).

2.3 Controles Experimentales

Para establecer la dependencia causal del escalar oculto, el estudio emplea varios controles:

• No-time (Sin tiempo): $\tau$ se establece en cero.
• Shuffled-time (Tiempo permutado): $\tau$ es reemplazado por el escalar de un ejemplo diferente (manteniendo la etiqueta original).
• Prompt Timestamp (Marca de tiempo en el prompt): El tiempo se escribe como texto en el prompt (tiempo oculto $\tau=0$).
• Conflict (Conflicto): El texto visible y el escalar oculto discrepan.
• Baselines (Líneas base): Incluye solo-LoRA (sin canal de tiempo), Vanilla (sin LoRA) y Prompt+LoRA (entrenado con marcas de tiempo textuales).

3. Resultados Clave

3.1 Rendimiento en Tareas Estándar

Utilizando Qwen2.5-3B-Instruct como columna vertebral congelada:

• CI de tiempo oculto: Logró una precisión de 0.9305 ± 0.0134 y una precisión balanceada de 0.9410 ± 0.0103 en la prueba estándar.
• Baseline Prompt+LoRA: Superó al enfoque de tiempo oculto con 0.9893 ± 0.0052 de precisión.
• Control No-Time: La precisión cayó a 0.5511, indicando que el modelo depende del escalar de tiempo.
• Control Shuffled-Time: La precisión cayó a 0.3323, con una alta Consistencia de Estado Incorrecto (WSC) (~0.91). Esto confirma que el modelo recalcula causalmente las acciones basadas en el escalar inyectado, incluso cuando el escalar es incorrecto.

3.2 Generalización y Limitaciones

• Fuerte Generalización: El modelo generalizó bien a plantillas aisladas (0.9357), duraciones (0.8375) y composiciones de multi-restricción (0.8652).
• Transferencia Débil: El rendimiento colapsó en la familia de cuota pura aislada (0.5065). Aunque la lógica de cuota apareció en ejemplos de entrenamiento de multi-restricción, el modelo falló al abstraer el predicado de cuota pura cuando este se presentó de forma aislada.
• Manejo de Conflictos: En escenarios de conflicto, el modelo siguió fuertemente el escalar oculto (seguimiento de escalar ~0.90) en lugar del texto visible, demostrando la dominancia del canal oculto pero una falta de manejo seguro de la discrepancia.

3.3 Diagnósticos Lineales

Los modelos lineales utilizando características de estado diseñadas más la codificación de tiempo ($\chi(\tau) + s$) lograron un alto rendimiento (p. ej., 0.9230 en pruebas estándar), probando que la tarea es resoluble con características explícitas. El modelo neuronal capturó gran parte de esta estructura pero no logró igualar el rendimiento del baseline lineal en la división de cuota pura.

4. Reivindicaciones y Significado

El artículo realiza una reivindicación estrecha e intencional:

1. Factibilidad: Un escalar de tiempo transcurrido oculto y no-token puede componerse causalmente con un estado simbólico visible en una columna vertebral de LM congelada para seleccionar acciones temporales bajo supervisión directa.
2. Utilidad de la Interfaz: La interfaz de Inyección Cronométrica proporciona un canal controlable y del lado del sistema que puede ser puesto en cero, permutado o en conflicto con el texto visible, lo que la convierte en un objeto de investigación valioso para estudiar las interfaces de estado del sistema.
3. No Superioridad: El artículo explícitamente no afirma que el condicionamiento de tiempo oculto sea superior a las marcas de tiempo en el prompt (el baseline Prompt+LoRA es más fuerte).
4. No Autonomía de Rastreo: El modelo no posee percepción de tiempo autónoma; depende enteramente del escalar suministrado externamente. Si el escalar es incorrecto, el modelo produce acciones incorrectas.
5. No Abstracción Amplia: El fallo en la familia de cuota pura aislada indica que el modelo no logra una abstracción de familia no vista de manera amplia para todos los tipos de predicados.

Conclusión: ChronoState valida un patrón arquitectónico específico para el soporte de decisiones conscientes del tiempo en entornos seguros o restringidos donde el tiempo debe influir en el enrutamiento sin entrar en el flujo de tokens visible. Sirve como un benchmark y protocolo de evaluación para el condicionamiento de tiempo oculto, más que como una demostración de inteligencia temporal general o un reemplazo para los controladores simbólicos deterministas.