Resumen Técnico: Aprendizaje de IA y Transferencia Conceptual en el Juego de Reglas Ocultas

1. Planteamiento del Problema

Este trabajo aborda el desafío del aprendizaje de reglas latentes dentro del Juego de Reglas Ocultas (GOHR, por sus siglas en inglés). En este entorno, un agente debe inferir una regla desconocida que rige la asignación de objetos a cubetas basándose únicamente en una retroalimentación binaria y dispersa (aceptar/rechazar) tras cada acción. El entorno es parcialmente observable; el agente no ve la regla directamente, sino que debe deducirla mediante la interacción de ensayo y error.

Las preguntas centrales de investigación se centran en:

• Cómo la representación del estado (centrada en características vs. centrada en objetos) afecta el rendimiento del aprendizaje, la generalización y la transferencia.
• Qué propiedades estructurales de las reglas (p. ej., mapeo de características, ordenamiento espacial, dependencias condicionales) contribuyen más a la dificultad del aprendizaje.
• Si ocurre una transferencia conceptual entre reglas estructuralmente relacionadas y cómo se organiza esta geometría de transferencia.
• Hasta qué punto los agentes de aprendizaje por refuerzo (RL) exhiben patrones de comportamiento similares a los de los aprendices humanos.

2. Metodología

2.1 Entorno y Tarea

El entorno GOHR consiste en una cuadrícula de $6 \times 6$ con cuatro cubetas en las esquinas y nueve objetos, cada uno definido por su forma y color. El agente selecciona un objeto y lo asigna a una cubeta. La regla oculta determina la validez. La retroalimentación es dispersa: un movimiento es aceptado (recompensa 0) o denegado/inmovilizado (recompensa -1). El episodio termina cuando todos los objetos se han colocado correctamente o no quedan movimientos disponibles.

2.2 Representaciones de Estado

El estudio compara dos codificaciones de estado distintas:

1. Centrada en Características (FC): El tablero se codifica como mapas de características espaciales ($6 \times 6 \times 8$ canales) que representan las activaciones de forma y color en las posiciones de la cuadrícula. El modelo debe inferir las asociaciones entre características y cubetas a través del alineamiento espacial.
2. Centrada en Objetos (OC): Cada objeto se representa como un vector explícito que contiene codificaciones one-hot para color, forma y posición ($x, y$). Esta representación vincula los atributos a objetos específicos, reduciendo la necesidad de que el modelo infiera la identidad del objeto a partir de patrones espaciales.

Ambas representaciones incorporan la historia temporal, incluyendo el estado actual y los seis estados exitosos más recientes, para ayudar en la inferencia de la regla.

2.3 Arquitectura y Algoritmo

Los agentes utilizan una arquitectura de Actor-Crítico basada en Transformers (A2C):

• Codificador (Encoder): Procesa la secuencia de historias de estado utilizando atención de cabezal múltiple para capturar dependencias entre características, objetos y acciones.
• Cabezales (Heads): Un cabezal de Actor emite probabilidades de acción (enmascaradas a movimientos válidos) y un cabezal de Crítico estima la función de valor.
• Entrenamiento: El modelo se entrena utilizando Advantage Actor-Critic con regularización de entropía y una estrategia de exploración $\epsilon$-greedy. El factor de descuento se establece muy bajo ($\gamma = 0.001$) para priorizar la minimización del error inmediato sobre las recompensas de largo alcance, reflejando la estructura de recompensa dispersa y solo negativa.

2.4 Métricas de Evaluación

El rendimiento se mide mediante tres métricas de convergencia:

• $M^\star$: Convergencia basada en movimientos (primer movimiento tras el cual una ventana fija de movimientos son todos exitosos).
• $E^\star_{mean}$: Convergencia de media de ventana (el episodio más temprano donde la tasa de error promedio en una ventana deslizante cae por debajo de un umbral).
• $E^\star_{max}$: Convergencia de ventana máxima (métrica más estricta que asegura que no haya errores en una ventana deslizante).

3. Contribuciones Clave

El artículo realiza las siguientes contribuciones:

1. Comparación de Representaciones: Una comparación sistemática de las representaciones Centrada en Objetos (OC) y Centrada en Características (FC), demostrando que la OC generalmente produce un comportamiento de aprendizaje más estable e interpretable.
2. Análisis de Dificultad de la Regla: Una caracterización de la dificultad de las reglas basada en propiedades conceptuales (p. ej., mapeo de características vs. ordenamiento vs. condicionales), estableciendo que niveles más altos de abstracción y complejidad compositiva aumentan la dificultad del aprendizaje.
3. Aprendizaje de Transferencia: Experimentos extensos sobre transferencia de regla simple-a-simple y de regla compuesta, revelando que el éxito de la transferencia depende fuertemente del alineamiento estructural entre la regla predecesora y la objetivo.
4. Análisis Geométrico: Aplicación de agrupamiento jerárquico, Escalamiento Multidimensional (MDS) y tanglegrams para visualizar la "geometría de la transferencia", mostrando que la OC forma grupos coherentes de reglas estructuralmente relacionadas, mientras que la FC exhibe una organización más difusa.
5. Modelado del Aprendizaje Humano: Desarrollo de un análisis de aprendizaje humano asistido por pseudo-bots utilizando modelos de Markov/backoff para clasificar las secuencias de juego como asistidas o no asistidas basándose en patrones temporales de resultados.
6. Implementación de Software: Una refactorización del entorno GOHR compatible con Gymnasium (aunque el artículo señala que se requirieron observaciones históricas aumentadas para un aprendizaje exitoso).

4. Resultados Clave

4.1 Dificultad de Aprendizaje y Representación

• Modelo FC: Aprende las propiedades posicionales (mapeo de cuadrantes, proximidad) con mayor facilidad, pero tiene dificultades con el ordenamiento de características abstractas y las reglas condicionales. Exhibe una alta sensibilidad a los puntos de control (checkpoints) de entrenamiento y a las heurísticas posicionales.
• Modelo OC: Aprende los mapeos basados en características y los ordenamientos de cubetas de manera más efectiva. Aunque también tiene dificultades con las condicionales complejas, las brechas de dificultad entre tipos de reglas son menores que en el FC. La OC demuestra curvas de aprendizaje más consistentes a través de diferentes familias de reglas.
• Generalización:
  • FC: Muestra una pobre generalización a posiciones de tablero fuera de la distribución (OOD), lo que sugiere que depende de plantillas espaciales memorizadas en lugar de reglas abstractas.
  • OC: Generaliza mejor a un aumento en la cardinalidad de la escena (16 objetos frente a 9), aunque el rendimiento decae para reglas que requieren un razonamiento relacional complejo sobre conjuntos más grandes.

4.2 Aprendizaje de Transferencia

• Transferencia Simple-a-Simple: La OC exhibe una transferencia fuerte y semánticamente estructurada dentro de las familias de reglas (p. ej., las reglas de ordenamiento de cubetas se transfieren bien entre sí). La transferencia del FC es inestable y a menudo depende de los puntos de control.
• Transferencia Compuesta: Cuando se entrena en reglas compuestas (p. ej., combinando orden de lectura y proximidad), el preentrenamiento en las reglas componentes reales produce una transferencia positiva masiva (hasta 5 veces más rápido la convergencia) para la OC. El FC muestra beneficios de transferencia más débiles.
• Transferencia Negativa: La OC es altamente sensible a los desajustes estructurales; el preentrenamiento en reglas no relacionadas puede causar una transferencia negativa severa (convergencia más lenta que el entrenamiento desde cero). El FC es menos sensible a la transferencia negativa, pero también es menos capaz de realizar transferencia positiva.

4.3 Geometría de la Transferencia

• OC: Los análisis de agrupamiento y MDS revelan que la OC organiza las reglas en grupos geométricos coherentes basados en la similitud estructural. La influencia del predecesor y la sensibilidad del sucesor están altamente correlacionadas (Índice de Rand Ajustado = 0.633), lo que indica una geometría de transferencia auticonsistente.
• FC: Exhibe un alineamiento débil entre la organización del predecesor y el sucesor (Índice de Rand Ajustado = 0.168). La geometría de transferencia es difusa, con reglas como cw (ordenamiento de cubetas en sentido horario) actuando como valores atípicos a pesar de su similitud conceptual con otras reglas de ordenamiento.

4.4 Análisis del Aprendizaje Humano

• Un modelo de Markov/backoff entrenado en secuencias de resultados (Aceptar/Denegar) distinguió con éxito entre el juego puramente humano y el juego asistido por bots.
• El modelo alcanzó hasta un 93.5% de precisión para configuraciones de bots de aprendizaje rápido (ph4), demostando que los patrones temporales de éxito y fracaso contienen firmas identificables de asistencia, incluso sin información explícita del estado del tablero.

5. Significación y Reivindicaciones

El artículo afirma que las representaciones explícitas a nivel de objeto (OC) son superiores a los mapas de características espaciales (FC) para aprender reglas relacionales ocultas. Los autores argumentan que la OC facilita la formación de abstracciones relacionales reutilizables, permitiendo un aprendizaje de transferencia más sistemático y coherente.

Las conclusiones clave incluyen:

• El Alineamiento Estructural es Crítico: El éxito de la transferencia en entornos de reglas ocultas depende principalmente del alineamiento estructural entre las tareas, no solo de la similitud semántica.
• La Representación Dicta la Geometría: La elección de la representación del estado moldea fundamentalmente la "geometría" del espacio de aprendizaje. La OC crea un paisaje estructurado donde los conceptos relacionados se agrupan, mientras que la FC resulta en un paisaje más caótico y dependiente de la posición.
• Paralelismos Humano-IA: El análisis sugiere que tanto los aprendices humanos como los de IA exhiben sensibilidades similares a la complejidad de las reglas (el ordenamiento/condicionales es más difícil que el mapeo de características) y que modelos probabilísticos simples pueden capturar las firmas conductuales de la asistencia en el aprendizaje.

Los autores mantienen un tono modesto, reconociendo que su trabajo es exploratorio y que el gran número de comparaciones estadísticas limita la capacidad de reclamar niveles de confianza definitivos. Posicionan este trabajo como un paso hacia la definición de una "geometía de las reglas y los conceptos" para la futura exploración de principios en el razonamiento relacional y el aprendizaje curricular.