Resumen Técnico: Adquisición de Datos Adaptativa Eficiente mediante Representaciones de Creencia Preentrenadas (POLAR)

Declaración del Problema

La adquisición adaptativa de datos abarca problemas de aprendizaje secuencial como el Diseño Experimental Bayesiano (BED), la Optimización Bayesiana (BO) y el Aprendizaje Activo (AL). En estos entornos, un aprendiz debe seleccionar secuencialmente consultas (diseños) para maximizar una utilidad descendente (por ejemplo, ganancia de información, identificación del óptimo global o precisión predictiva) bajo un presupuesto finito.

Los enfoques existentes para aprender políticas de adquisición generalmente caen en dos categorías problemáticas:

1. Métodos basados en la posterior: Dependen del ajuste de un modelo probabilístico a los datos observados para calcular una posterior, la cual se utiliza luego para evaluar una función de adquisición (por ejemplo, Mejora Esperada, Ganancia de Información Esperada). Estos métodos están limitados por la calidad de la aproximación de la posterior. La errónea especificación del modelo o los errores de aproximación pueden distorsionar la regla de adquisición, y estos errores se acumulan a lo largo de las rondas secuenciales.
2. Métodos de aprendizaje de política directa: Mapean los historiales de observaciones crudas directamente a decisiones (por ejemplo, mediante Aprendizaje por Refuerzo). Aunque evitan la inferencia de la posterior explícita, deben aprender un mapeo complejo desde los datos crudos hacia las decisiones desde cero. Esto requiere aprender simultáneamente cómo representar el conjunto de datos y cómo actuar sobre esa representación, lo que a menudo conduce a una ineficiencia de muestra y dificultades de entrenamiento.

Metodología: POLAR

Los autores presentan POLAR (Policy Learning with Belief Representations), un marco que desacopla el aprendizaje de la representación del aprendizaje de la política. La idea central es que la decisión secuencial óptima depende del historial de observaciones solo a través de un estado de creencia (belief state) suficiente. En lugar de aprender este estado desde cero o depender de aproximaciones de la posterior explícitas, POLAR aprovecha modelos fundacionales predictivos preentrenados como codificadores del estado de creencia.

Arquitectura

1. Codificador de Creencia (Backbone): POLAR utiliza un Modelo Fundacional Tabular (TFM), como TabPFN o TabICL, preentrenado en diversas tareas sintéticas. Dada una historia de observaciones $D_{t-1}$ y un diseño candidato $x$, el TFM produce una representación oculta condicionada al candidato $r_\psi(x, D_{t-1})$.

   • A diferencia de la distribución predictiva final producida por el TFM, esta representación oculta se trata como la representación de creencia. Codifica cómo cambian las predicciones con los datos (incertidumbre predictiva, estructura local, comportamiento dependiente del contexto) sin comprometerse con una aproximación de la posterior específica.
   • El marco opera en un entorno basado en un grupo (pool-based), donde la política selecciona de un conjunto finito de candidatos $C_t$. El backbone procesa la historia una vez para generar las representaciones de todos los candidatos en el grupo.

2. Cabeza de la Política: Una cabeza de política ligera y aprendible $g_\eta$ mapea la representación de creencia $r_\psi$ a un logit escalar para cada candidato. Una función softmax sobre estos logits define la política estocástica $\pi_\eta$. En el despliegue, se selecciona el candidato con la puntuación más alta.

3. Objetivo de Entrenamiento:

   • Pérdida de la Política: La política se entrena mediante gradientes de política sobre ejecuciones (rollouts) simuladas. El objetivo maximiza una utilidad específica de la tarea (por ejemplo, Ganancia de Información Esperada para BED, mejor valor terminal para BO). Los autores utilizan una estrategia de asignación de crédito local (incrementos de un paso) para reducir la varianza, en lugar de una función de valor de horizonte largo completo.
   • Adaptación del Backbone (Opcional): Para alinear el backbone preentrenado con la distribución de la tarea descendente específica, se aplica una pérdida de predicción supervisada auxiliar ($L_{pred}$) a los parámetros del backbone.
   • Desacoplamiento: Una elección de diseño crítica es que los gradientes de la política no se propagan hacia el backbone. El backbone se actualiza únicamente mediante la pérdida de predicción supervisada, mientras que la cabeza de la política se actualiza mediante el gradiente de la política. Esto evita que señales de aprendizaje por refuerzo de alta varianza desestabilicen las representaciones preentrenadas.

Fundamento Teórico

El artículo proporciona una visión decisionista unificada, mostrando que la política Bayesiana óptima $\pi^*$ es una función de la posterior relevante para la tarea $p(w|D_{t-1})$. Dado que la posterior es una función del historial, cualquier representación $e_t$ que permita la recuperación de la posterior (vía un decodificador) es una representación de creencia válida. POLAR postula que los TFM preentrenados proporcionan tales representaciones que son lo suficientemente ricas para determinar acciones óptimas pero lo suficientemente estructuradas para que el mapeo hacia la cabeza de la política sea fácil de aprender, evitando los extremos de la historia cruda (demasiado compleja) o la posterior explícita (propensa a errores de aproximación).

Contribuciones Clave

1. Visión Unificada: Los autores formalizan la adquisición de datos adaptativa como el aprendizaje de políticas sobre representaciones de creencia, cerrando la breancia entre los enfoques basados en historial crudo y los basados en la posterior.
2. Arquitectura Desacoplada: Proponen una arquitectura simple que utiliza modelos fundacionales preentrenados como codificadores de creencia fijos (o ajustables) y entrena una cabeza de política separada, separando el aprendizaje de la representación del proceso de toma de decisiones.
3. Eficiencia de Muestra: Los resultados empíricos demuestran que POLAR logra un rendimiento de vanguardia en diversas tareas (BED, BO, AL) requiriendo significativamente menos muestras de entrenamiento (hasta $100\times$ menos) en comparación con los métodos amortizados existentes.

Resultados Experimentales

Los autores evalúan POLAR en tres bancos de pruebas principales:

1. Diseño Experimental Bayesiano (BED):

   • Tareas: Localización de Ubicación (2D y 5D) y Elasticidad de Sustitución Constante (CES).
   • Resultados: POLAR supera significativamente a los métodos amortizados de vanguardia (DAD, RL-BOED, ALINE). En la tarea de Localización de Ubicación 5D, POLAR supera el rendimiento pico de RL-BOED y DAD usando 10,000$\times$ menos muestras de entrenamiento y supera a ALINE con 100$\times$ menos muestras.
   • Ablaciones:
     • Backbone Congelado vs. Ajustado (Finetuned): El ajuste fino del backbone con una pérdida de predicción auxiliar produce un mejor rendimiento que mantenerlo congelado, aunque incluso la versión congelada es competitiva.
     • Gradientes Desacoplados vs. Acoplados: Permitir que los gradientes de la política actualicen el backbone (acoplado) degrada severamente el rendimiento, confirmando la necesidad del desacoplamiento.
     • Preentrenado vs. Desde Cero: Entrenar la arquitectura desde cero converge mucho más lento y tiene un peor desempeño, resaltando el valor del modelo fundacional preentrenado.

2. Optimización Bayesiana (Optimización de Hiperparámetros):

   • Banco de Pruebas: HPO-B (Hyperparameter Optimisation Benchmark).
   • Resultados: POLAR logra el menor arrepentimiento (regret) promedio y el mejor rango promedio a través de seis espacios de búsqueda, superando a los procesos gaussianos (GP) clásicos, Meta-GPs y métodos amortizados de extremo a extremo como NAP. Demuestra que el uso de un backbone TFM preentrenado produce un rendimiento más fuerte que aprender representaciones desde cero.

3. Optimización Molecular:

   • Banco de Pruebas: DOCKSTRING (acoplamiento molecular de alta dimensión).
   • Resultados: En un espacio discreto de 512 dimensiones, POLAR logra el menor arrepentimiento en comparación con GP con núcleos Tanimoto, Random Forests y una línea base de TabICL con una función de adquisición diseñada a mano. Esto confirma que aprender la regla de adquisición directamente de la representación de creencia supera a las estrategias de adquisición fijas.

Significado y Reivindicaciones

El artículo afirma que POLAR representa un paso significativo en la escalabilidad y eficiencia de la adquisición de datos amortizada. Al cambiar el paradigma de aprender conjuntamente representaciones y decisiones a actuar sobre representaciones de creencia preentrenadas, POLAR mitiga la ineficiencia de muestra y la inestabilidad de entrenamiento asociadas con el aprendizaje de políticas directo y los errores de aproximación de los métodos basados en la posterior.

Los autores enfatizan que su enfoque no consiste en diseñar un nuevo estimador o algoritmo de entrenamiento, sino en reutilizar un modelo predictivo preentrenado como codificador de creencia. Esto permite que una pequeña cabeza de política sea entrenada con gradientes de política estándar, logrando un rendimiento superior con costos computacionales de entrenamiento drásticamente reducidos. El marco se presenta como una solución unificada aplicable a BED, BO y AL, diferenciándose únicamente por la utilidad específica de la tarea utilizada para el entrenamiento.