🤖 machine learning

Bootstrap-Conditioned Action Selection with Tabular Foundation Models

Este artículo propone BC-ICL, una novedosa política de bandidos contextuales que aprovecha modelos fundacionales tabulares preentrenados con aprendizaje en contexto y remuestreo de bootstrap para lograr una toma de decisiones en línea robusta y con eficiencia de muestra que supera a las líneas base establecidas en escenarios dispersos y de arranque en frío.

Autores originales: Devansh Gupta, Shiv Tavker, Dmitry Efimov, Suchitra Sathyanarayana, Gitanjali Bhutani, Boris N. Oreshkin

Publicado 2026-08-10

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Devansh Gupta, Shiv Tavker, Dmitry Efimov, Suchitra Sathyanarayana, Gitanjali Bhutani, Boris N. Oreshkin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres el capitán de una nave espacial intentando encontrar la mejor ruta a través de una vasta galaxia brumosa. Cada vez que eliges un camino, recibes una pequeña pista —tal vez un destello de luz o un estallido de estática— que te dice si estuviste cerca del tesoro o si simplemente volabas hacia un callejón sin salida. Este es el corazón de un problema que los científicos llaman "bandidos contextuales" (contextual bandits). Es la matemática detrás de cómo las computadoras aprenden a tomar decisiones personalizadas, como sugerirte una película que te encantará o una canción con la que bailarás, basándose en quién eres y en lo que te ha gustado antes. La parte difícil es el "inicio en frío" (cold start): cuando la computadora no sabe casi nada de ti, tiene que adivinar de forma descabellada para aprender. Los métodos tradicionales suelen quedarse estancados adivinando lo mismo erróneo una y otra vez, o se ponen tan nerviosos por equivocarse que dejan de intentar cosas nuevas. Necesitan una forma de ser valientes pero inteligentes, explorando lo desconocido sin estrellar la nave.

Presenta a un nuevo miembro de la tripulación de tu nave espacial: un "modelo fundacional" (foundation model). Piensa en esto como un detective súper inteligente, preentrenado, que ya ha leído millones de novelas de misterio y sabe detectar patrones en los datos mejor que nadie. Normalmente, estos detectives solo se sientan ahí y dan respuestas. Pero, ¿y si pudiéramos convertir a este detective en un explorador? Eso es exactamente lo que los investigadores de este artículo, Devansh Gupta y su equipo, se propusieron hacer. Se preguntaron: ¿Podemos tomar a este detective preentrenado, que está congelado y no puede aprender nuevos trucos sobre la marcha, y hacer que juegue un juego de "adivinar el mejor movimiento" sacudiendo las pistas que ve?

Construyeron un método llamado BC-ICL (selección de acciones condicionada por bootstrap usando ICL). Así es como funciona en lenguaje sencillo: Imagina que el detective está mirando un historial de todos los viajes pasados de la nave espacial. En lugar de mirar todo el historial a la vez, la computadora toma una muestra de "bootstrap". Esto es como hacer una fotocopia del registro histórico, pero con un giro: elige aleatoriamente algunas entradas para incluirlas dos veces y deja otras fuera por completo, creando una versión ligeramente diferente, un "qué pasaría si", del pasado. El detective congelado mira entonces esta versión del historial, ligeramente distorsionada, y hace una suposición sobre el mejor camino. Debido a que el registro histórico cambió ligeramente, la suposición del detective también cambia. Al repetir este proceso —revolver las pistas, pedirle al detective su opinión y elegir la mejor suposición—, la computadora crea una estrategia que explora naturalmente nuevos caminos sin necesidad de reentrenar al detective desde cero.

Para mejorar esto aún más, el equipo añadió una característica especial de "contexto de brazo" (arm-context). Imagina que la nave espacial tiene muchos motores diferentes (acciones) que puede usar. Normalmente, una computadora podría tratar cada motor como una máquina separada e aislada. Pero este nuevo método trata a los motores como un equipo. Utiliza un mapa "multiplicativo" que permite al detective ver cómo la situación actual (el contexto) interactiza con cada motor a la vez. Esto significa que si el detective aprende algo sobre cómo funciona el motor de "velocidad" en una tormenta, puede aplicar instantáneamente esa sabiduría al motor de "dirección" en esa misma tormenta. Es como un chef que, tras aprender cómo la sal afecta a un tomate, comprende inmediatamente cómo la sal afectará a un champiñón, en lugar de tener que probar cada vegetal por separado.

Los investigadores probaron esta idea en una variedad de rompecabezas desafiantes, desde predecir si un champiñón es venenoso hasta clasificar dígitos escritos a mano. Descubrieron que BC-ICL fue un jugador estrella. En muchos casos, cometió menos errores (una métrica llamada "arrepentimiento" o regret) que los métodos de la vieja escuela que dependen de la matemática lineal o de redes neuronales complejas entrenadas desde cero. Por ejemplo, en un conjunto de datos llamado "Mushroom", el nuevo método cometió un 85% menos de errores que un enfoque popular de red neuronal. Lo que es más impresionante, lo hizo siendo sorprendentemente eficiente; al usar una forma inteligente de elegir qué registros históricos observar (como recordar solo los viajes más recientes o los más similares), podía ejecutarse casi tan rápido como los métodos antiguos, a pesar de realizar un pensamiento más complejo.

Sin embargo, el artículo también traza una línea clara en la arena. Probaron qué sucede si simplemente dejas que el detective adivine el "mejor" camino cada vez sin revolver el historial (un enfoque "codicioso" o greedy). Los resultados mostraron que esta estrategia codiciosa a menudo falla, quedándose estancada en malos caminos al principio y sin poder recuperarse. Del mismo modo, dejar que la incertidumbre natural del detective guiara las elecciones no fue suficiente para superar al nuevo método. El artículo sugiere que la magia no está solo en el cerebro del detective, sino en el acto de sacudir las pistas antes de pedir una opinión. Los investigadores están seguros de estos resultados basados en sus simulaciones a través de ocho conjuntos de datos, pero también señalan que este enfoque depende en gran medida de que el detective tenga el tipo de preentrenamiento adecuado. Si el entrenamiento pasado del detective no coincide con la galaxia actual, el método podría tener dificultades. Aun así, para el tipo de datos adecuado, esta estrategia de "sacudir y adivinar" ofrece una forma poderosa y práctica de convertir un modelo estático y preentrenado en un tomador de decisiones dinámico y exploratorio.

Resumen Técnico: Selección de Acciones Condicionada por Bootstrap con Modelos Fundacionales Tabulares

Planteamiento del Problema

Los bandits contextuales proporcionan un marco para la personalización eficiente en muestras, pero su despliegue práctico se ve obstaculizado por datos de interacción dispersos y sesgados, estimaciones de incertidumbre poco fiables y escenarios severos de arranque en frío (cold-start). Mientras que los enfoques de política global son el estándar en sistemas a gran escala para evitar la ineficiencia de datos de los bandits por usuario, lograr una exploración con principios sin sacrificar la expresividad del modelo de recompensa sigue siendo difícil.

Los métodos clásicos suelen depender de modelos de recompensa lineales con optimismo o muestreo posterior, lo que limita su poder representacional. Por el contrario, los métodos de bandits contextuales neuronales pueden modelar recompensas complejas, pero requieren entrenar redes específicas para la tarea desde cero utilizando únicamente retroalimentación de bandit. Sus estimaciones de incertidumbre (a menudo basadas en linealización o dropout) son sensibles a los hiperparámetros y frágiles en regímenes de pocos datos. Mientras tanto, los avances recientes en el Aprendizaje en Contexto (ICL) para datos tabulares han producido predictores poderosos (por ejemplo, TabPFN, TabICL) que se adaptan a nuevas tareas mediante una única pasada hacia adelante (forward pass), amortizando efectivamente la inferencia bayesiana. Sin embargo, sigue siendo una cuestión abierta si estos predictores de ICL preentrenados pueden utilizarse directamente para la selección de acciones en bandits contextuales.

Metodología: BC-ICL

Los autores proponen BC-ICL (selección de acciones condicionada por Bootstrap usando ICL), un método que transforma un predictor de ICL tabular preentrenado y congelado en una política aleatorizada para la toma de decisiones en línea.

Mecanismo Central

En lugar de actualizar los parámetros del modelo en línea, BC-ICL induce la exploración mediante la aleatorización del historial de condicionamiento visto por el modelo de base (backbone) fijo. El algoritmo opera de la siguiente manera en cada ronda $t$ :

Remuestreo de Bootstrap: Se extrae un remuestreo de bootstrap $\tilde{D}_t$ de la historia de interacción observada $D_t$ (muestreando $|D_t|$ observaciones con reemplazo).
Condicionamiento: El predictor de ICL congelado $M$ se condiciona sobre el conjunto de datos remuestreado $\tilde{D}_t$ .
Puntuación: El modelo puntúa todas las acciones candidatas $a \in \mathcal{A}$ dado el contexto actual $x_t$ .
Selección: Se selecciona la acción con la puntuación muestreada más alta: $a_t \in \arg\max_a \hat{\mu}_{\tilde{D}_t}(x_t, a)$ .
Actualización: La recompensa observada se añade al historial y el proceso se repite.

Arquitectura de Condicionamiento Brazo-Contexto

Para abordar los modos de fallo de los bandits de brazos aislados y promover la fuerza estadística compartida, los autores introducen un mapeo de características específico $\Phi_{mult}(x, a)$ :
$\Phi_{mult}(x, a) = [x; e_a; (x^\top P) \odot e_a]$
Donde:

$x$ es el contexto bruto.
$e_a$ es un embedding de brazo fijo.
$P$ es una matriz de proyección compartida.
$\odot$ denota la multiplicación elemento a elemento.

Esta representación preserva el contexto bruto, codifica la identidad del brazo y modela explícitamente las interacciones brazo-contexto a través del contexto proyectado compartido. Crucialmente, las perturbaciones en el historial de condicionamiento se propagan a través de esta representación común, afectando las puntuaciones de múltiples brazos simultáneamente, permitiendo así una exploración compartida.

Contribuciones Clave

Propuesta de Algoritmo: La introducción de BC-ICL, que acopla el remuestreo de bootstrap con un predictor de ICL preentrenado para convertir un modelo supervisado en una regla de decisión capaz de explorar sin reentrenamiento en línea.
Innovación Arquitectónica: El diseño de un mapa de características multiplicativo de brazo-contexto que facilita la exploración compartida entre acciones a través de una representación de contexto proyectado común.
Validación Empírica: Evaluación exhaustiva demostrando que BC-ICL (instanciado con TabPFN o TabICL) supera a las líneas base de bandits contextuales lineales, de kernel y neuronales bajo protocolos en línea estrictos.

Resultados Experimentales

Los autores evaluaron BC-ICL en ocho conjuntos de datos (incluyendo repositorios UCI como Covertype, ISOLET, Letter y MNIST) convertidos en problemas de bandits contextuales.

Rendimiento: BC-ICL logró el arrepentimiento (regret) acumulado más bajo en la mayoría de los conjuntos de datos, superando sustancialmente a las líneas base establecidas como Linear TS, LinUCB, Kernel UCB/TS, NeuralUCB, NeuralTS y BootstrapNN.
- Ejemplo: En el conjunto de datos Mushroom, BC-ICL-TabICL logró un arrepentimiento de 37.7 frente a 252.3 de NeuralTS (una reducción del 85%).
- Ejemplo: En ISOLET, BC-ICL mantuvo un arrepentimiento consistentemente más bajo durante todo el proceso de aprendizaje en comparación con las líneas base neuronales.
Mecanismo de Exploración: Los estudios de ablación revelaron que la incertidumbre predictiva interna del modelo de ICL por sí sola (mediante selección codiciosa o muestreo de la distribución predictiva) es insuficiente para una toma de decisiones secuencial efectiva. Se demostró que el mecanismo de remuestreo de bootstrap redujo el arrepentimiento entre un 5% y un 19% respecto a las líneas base de selección codiciosa y de muestreo en conjuntos de datos desafiantes, probando que el bootstrapping a nivel de datos es necesario para una exploración efectiva.
Codificación de Características: El mapa de características multiplicativo ( $\Phi_{mult}$ ) superó significativamente a la codificación one-hot simple ( $\Phi_{one-hot}$ ), reduciendo el arrepentimiento final entre un 30% y un 40% en ISOLET, confirmando la importancia de modelar explícitamente las interacciones brazo-contexto.
Eficiencia Computacional: Aunque el uso del historial completo de interacción hace que BC-ICL sea más lento que las líneas base neuronales (por ejemplo, 7 veces más lento para TabPFN), los autores demostraron que las estrategias de selección de contexto como KNN (vecinos más cercanos) o FIFO (ventana deslizante) reducen significamente el tiempo de ejecución manteniendo un rendimiento de arrepentimiento comparable al uso del historial completo.

Significado y Reivindicaciones

El artículo sostiene que BC-ICL ofrece un enfoque práctico y efectivo para los bandits contextuales al aprovechar los sesgos inductivos de los modelos fundacionales tabulares preentrenados. Al evitar la necesidad de entrenar redes específicas para la tarea desde cero, el método logra una fuerte eficiencia de muestra, particularmente en regímenes de arranque en frío y de pocos datos.

Los autores señalan que el método asume el acceso a un modelo preentrenado cuyos sesgos inductivos se alinean con la tarea objetivo; el rendimiento puede degradarse si existe un desajuste significativo con la tarea previa. Además, aunque el procedimiento de bootstrap introduce una carga computacional, el uso de estrategias de selección de contexto (KNN/FIFO) hace que el enfoque sea escalable. Teóricamente, los autores sugieren que, bajo supuestos de estabilidad suaves, el arrepentimiento de BC-ICL puede descomponerse en un término de estabilidad y un término de representación, aunque formalizar esto sigue siendo una dirección para el trabajo futuro.

El trabajo respalda la intuición de que las representaciones multiplicativas brazo-contexto permiten un intercambio estadístico útil entre acciones y que los modelos de ICL preentrenados, cuando se combinan con el condicionamiento por bootstrap, pueden servir como políticas robustas y capaces de explorar para la toma de decisiones en línea.