Resumen Técnico: ¿Cuándo la Recompensa Enseña el Estado? Un Instrumento de Autómata Oculto y el Límite del Lenguaje de Grupo

1. Planteamiento del Problema

Los agentes de aprendizaje por refuerzo (RL) suelen alcanzar altas puntuaciones de recompensa sin aprender necesariamente el estado latente subyacente de su tarea. En su lugar, pueden aprender "atajos correlacionados con la recompensa" o heurísticas que tienen éxito bajo distribuciones de entrenamiento específicas pero fallan al generalizar cuando la estructura de la tarea cambia (por ejemplo, horizontes más largos, ruido o cambios en la distribución). Este fenómeno, conocido como generalización errónea de objetivos (goal misgeneralization), es difícil de diagnosticar porque el "estado verdadero" de una tarea es típicamente indefinido o no observable en los entornos de prueba estándar.

La pregunta central abordada es: ¿Representa un agente de alta recompensa el estado latente de la tarea, o simplemente está explotando un atajo? Para responder a esto, el artículo propone un marco donde el estado latente es un objeto exactamente conocido y medible, lo que permite a los investigadores desacoplar el "éxito de la recompensa" del "aprendizaje del estado".

2. Metodología: El Instrumento de Autómata Oculto

Los autores introducen un instrumento experimental de caja blanca basado en Autómatas de Estados Finitos Deterministas (DFA) Ocultos bajo Control Parcial.

El Entorno (PartialControlDFAEnv)

• Definición de la Tarea: La tarea se define como un DFA $M = (Q, \Sigma, \delta, q_0, F)$.
• Control Parcial: En un episodio de longitud $T$, en cada paso, el agente elige el siguiente símbolo con una probabilidad $p_{control}$; de lo contrario, el entorno selecciona el símbolo de forma uniforme.
• Observaciones: El agente observa el flujo de símbolos emitidos, si el paso fue controlable y el tiempo restante. Crucialmente, el agente nunca observa el estado oculto $q_t$.
• Recompensa: Dispersa (sparse) y terminal. El agente recibe $r=1$ si el estado final $q_T \in F$ (estado de aceptación), y $0$ en caso contrario.

El Oráculo y las Sondas (Probes)

Debido a que el autómata es conocido para el experimentador, se dispone de dos capacidades críticas "gratuitamente":

1. Oráculo Exacto: El retorno óptimo alcanzable $V(q, r)$ se computa mediante inducción hacia atrás. Esto permite normalizar las recompensas brutas en una puntuación interpretable (0.0 a 1.0) comparable entre tareas.
2. Sonda de Estado Latente Exacta: El estado verdadero $q_t$ en cada paso es conocido. Los investigadores pueden ajustar un clasificador lineal a las características internas del agente para medir qué tan bien el agente representa el estado verdadero (la "brecha de la sonda" o probe gap).

Ejes de Diagnóstico

El instrumento mide el acoplamiento entre el éxito de la recompensa y el aprendizaje del estado a lo largo de tres ejes controlables:

1. Fuerza del Optimizador: Comparación de optimizadores débiles (A2C) frente a más fuertes (PPO+GAE).
2. Estructura de la Tarea: Específicamente, si el autómata exhibe una estructura de lenguaje de grupo (permutación), donde cada símbolo induce una biyección sobre los estados alcanzables (sin fusión de estados).
3. Informatividad de la Observación: El grado en que las observaciones revelan el estado latente, controlado mediante un parámetro ajustable $\beta$ (coloración del estado).

3. Contribuciones Clave

1. Metodología de Medición: Una receta para expresar cualquier tarea aproximable por FSM como un DFA de control parcial oculto. Esto proporciona un oráculo exacto para la normalización, un estado latente exacto para la sonda lineal y un límite de capacidad de aprendizaje supervisado fuera de política (off-policy).
2. Instancia de Referencia (PartialControlDFAEnv): Una taxonomía que separa los autómatas diagnósticos (donde el seguimiento del estado es necesario) de los triviales.
3. Acoplamiento Dependiente del Optimizador: Evidencia de que el vínculo entre el éxito de la recompensa y el aprendizaje del estado está gobernado por la fuerza del optimizador. Los optimizadores débiles (A2C) a menudo fallan en instalar representaciones del estado latente a pesar de alcanzar la recompensa, mientras que los optimizadores más fuertes (PPO) mejoran este acoplamiento, aunque la recuperación suele ser parcial y de alta varianza.
4. Distinción de Modos de Fallo: El instrumento distingue entre:
   • Brecha de Percepción (Perception Gap): El agente no puede recuperar el estado latente (la sonda está al nivel del azar), a pesar de que este es representable.
   • Brecha de Planificación (Planning Gap): El agente representa el estado (alta puntuación de la sonda) pero falla al usarlo para maximizar la recompensa.
5. Señal de Advertencia Estructural: Identificación de la estructura de permutación (lenguaje de grupo) como una señal de advertencia de alta precisión para la brecha de percepción, computable antes del entrenamiento basándose únicamente en la función de transición $\delta$.

4. Resultados Clave

Fuerza del Optimizador y Recuperación de Estado

• Bajo RL de política única débil (A2C), la sonda del estado permanece en niveles de azar para todas las arquitecturas, incluso aquellas (como las GRU) probadas tener la capacidad representacional para resolver la tarea.
• Cambiar a PPO+GAE mejora significativamente tanto la recompensa como la recuperación del estado. Sin embargo, la recuperación es a menudo parcial (por ejemplo, brechas de sonda de ~0.20 frente a un techo de capacidad supervisada de ~0.48–0.60) y exhibe una alta varianza entre semillas.
• Conclusión: La recompensa dispersa por sí sola es insuficiente para garantizar el aprendizaje del estado; la fuerza del optimizador es el motor dominante del acoplamiento recompensa-estado.

La Brecha de Percepción y los Lenguajes de Grupo

• Autómatas de Permutación: Las tareas donde el autómata es una permutación (lenguaje de grupo) requieren que el agente "acumule" el estado sin olvidar (sin fusión de estados). Estas tareas son significamente más difíciles para el RL de recompensa dispersa.
• Poder Predictivo: Un predictor basado en la conjunción de la estructura de permutación y el bajo apalancamiento de control (cuánto puede influir el agente en el estado) predice perfectamente la dificultad dentro de la muestra.
• Validación con Datos No Vistos: En un conjunto de 153 DFAs aleatorios nuevos, la estructura de permutación predice la brecha de percepción con una precisión de 0.86 (89 de 103 autómatas de permutación exhibieron la brecha).
• Minería del Mundo Real: Los autores minaron DFAs ocultos de lógica del mundo real (checksums) y registros de procesos.
  • Los checksums reales (por ejemplo, divisibilidad por 7) exhibieron la estructura de permutación y la brecha de percepción.
  • Los registros de procesos reales (por ejemplo, adquisiciones, flujos de trabajo clínicos) no eran de permutación y eran aprendibles, lo que sugiere que la brecha de percepción está presente en la lógica real pero no es el caso universal para los flujos de trabajo.

Señales Auxiliares e Informatividad de la Observación

• Auxiliares sin Etiquetas (Label-Free): Predecir el siguiente símbolo emitido es vacuo si las observaciones no portan información de estado ($\beta=0$). Sin embargo, tan pronto como las observaciones revelan cualquier información de estado ($\beta \ge 0.10$), un auxiliar sin etiquetas recupera el estado latente y rescata el rendimiento de la recompensa.
• Auxiliares Privilegiados: Proporcionar el estado verdadero como un auxiliar es casi inerte cuando el aprendiz base (PPO) ya recupera el estado, pero proporciona ganancias significativas cuando el aprendiz base falla (optimizadores débiles o alta complejidad).

Brecha de Planificación vs. Percepción

El estudio identifica una distinción crítica invisible para la evaluación basada solo en la recompensa:

• Brecha de Planificación: Un agente (por ejemplo, en ends_with_1000) tiene una alta puntuación de la sonda de estado pero baja recompensa, lo que indica que conoce el estado pero no puede actuar sobre él.
• Brecha de Percepción: Un agente (por ejemplo, en mined_ean) tiene baja recompensa y una sonda al nivel del azar, lo que indica que nunca aprendió el estado.
• Las métricas conductuales (brechas de recompensa) están casi descorrelacionadas con el estado recuperable, demostiendo que una alta recompensa no implica comprensión de la tarea.

5. Significado y Reivindicaciones

El artículo sostiene que el éxito de la recompensa no es evidencia de la comprensión de la tarea. La capacidad de un agente (o un auxiliar económico) para recuperar el estado latente es predecible de antemano basándose en la estructura del autómata.

• La "Brecha de Percepción": El artículo establece que para los autómatas de permutación (lenguaje de grupo), el RL de recompensa dispersa a menudo falla en instalar la representación del estado latente, incluso cuando la arquitectura es capaz de ello. Esto es una "brecha de percepción" impulsada por las dificultades de asignación de crédito en espacios de estados que no se fusionan.
• La "Brecha de Planificación": Por el contrario, los agentes pueden aprender el estado pero fallan en utilizarlo, un modo de fallo distinto de la percepción.
• Auditoría Accionable: La contribución principal es el instrumento mismo. Permite a los investigadores auditar cualquier tarea de un agente convirtiéndola en un FSM oculto, proporcionando un oráculo exacto y una sonda de estado. Esto permite una auditoría de "caja blanca" para determinar si un agente aprendió la tarea o solo un atajo.
• Soluciones Causales: El artículo demuestra que la brecha de percepción puede cerrarse causalmente haciendo que el estado latente sea observable (añadiendo emisiones que revelen el estado) o retenible/latchable (añadiendo acciones de retención controlables), sin necesidad de un predictor a priori perfecto.

Los autores señalan que, si bien el predictor estructural es de alta precisión para la brecha de percepción, no es una garantía de seguridad para tareas que no son de grupo (que son heterogéneas). Además, los hallazgos están actualmente limitados a autómatas sintéticos pequeños y un traslado preliminar a agentes LLM, que reprodujeron los ejes pero aún no produjeron una brecha de percepción limpia a gran escala. El instrumento se publica para facilitar la investigación posterior sobre la fiabilidad de los agentes con estado.