🤖 machine learning

Subspace Inference Enables Efficient Active Reward Learning from Preferences

Este artículo presenta PreferenceEKF, un método de aprendizaje activo con eficiencia de muestreo que aprovecha el filtrado de Kalman extendido dentro de un subespacio de parámetros de baja dimensión para permitir una cuantificación de la incertidumbre escalable para modelos de recompensa de redes neuronales, mejorando así la eficiencia y el rendimiento del aprendizaje por refuerzo a partir de la retroalimentación humana.

Autores originales: Yutai Zhou, Erdem Bıyık

Publicado 2026-09-04

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yutai Zhou, Erdem Bıyık

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, existe un desafío persistente conocido como la "ineficiencia de muestreo" del aprendizaje a partir de la retroalimentación humana. Imagine enseñar a un programa informático complejo a comportarse de una manera que se alinee con los valores humanos. El método más potente disponible actualmente consiste en pedir a las personas que comparen dos resultados diferentes —como dos movimientos de un robot o dos respuestas escritas— y que indiquen cuál prefieren. Aunque esta retroalimentación es fácil de proporcionar para los humanos, es increíblemente escasa; una sola preferencia proporciona solo una mínima fracción de información. Para construir un modelo fiable de lo que los humanos desean, un algoritmo debe realizar miles de estas preguntas. Si la computadora hace las preguntas equivocadas, pierde tiempo y dinero. Si hace las preguntas correctas, aprende mucho más rápido. La dificultad reside en saber qué preguntas serán las más informativas. Para hacer esto, la computadora necesita comprender lo que aún no sabe, un concepto llamado incertidumbre. Sin embargo, calcular esta incertidumbre para redes neuronales masivas y modernas es notoriamente difícil y computacionalmente costoso, requiriendo a menudo el entrenamiento de docenas de modelos separados solo para obtener una estimación aproximada.

Un equipo de investigadores de la Universidad del Sur de California ha desarrollado un nuevo enfoque para resolver este cuello de botella, permitiendo que las computadoras aprendan de las preferencias humanas con una velocidad y eficiencia mucho mayores. Introdujeron un método llamado PreferenceEKF, que trata el proceso de aprendizaje de preferencias como un problema de filtrado continuo y paso a paso, en lugar de un cálculo masivo y único. En lugar de intentar mapear todas las variaciones posibles de una red neuronal gigante a la vez, los investigadores se dieron cuenta de que el comportamiento de la red podía rastrearsese con precisión dentro de un espacio mucho más pequeño y de menor dimensión. Al centrar sus cálculos en este subespacio compacto, pudieron utilizar una herramienta matemática clásica, el filtro de Kalman extendido, para actualizar la comprensión del modelo en tiempo real a medida que llegaban las nuevas respuestas. Esta técnica les permitió generar miles de versiones diferentes del modelo de recompensa instantáneamente, sin el pesado costo computacional de entrenar múltiples redes independientes.

Los investigadores probaron su método contra varias técnicas existentes utilizando una variedad de estándares de referencia para el control robótico y la toma de decisiones. Encontraron que su enfoque no solo era significativamente más rápido —funcionando hasta cuarenta veces más rápido que algunas de las alternativas más avanzadas— sino también más preciso en sus predicciones. En experimentos donde el objetivo era aprender un modelo de recompensa a partir de un número limitado de comparaciones humanas, el nuevo método aprendió consistentemente las preferencias correctas utilizando menos preguntas que los otros métodos. Además, los modelos que produjo estaban mejor calibrados, lo que significa que la confianza de la computadora en sus respuestas coincidía más estrechamente con la precisión real de dichas respuestas. Esta precisión es vital para el aprendizaje activo, donde el sistema debe decidir qué pregunta hacer a continuación; si el sistema no está seguro, hace una pregunta para resolver esa incertidumbre, y si está seguro, continúa. El nuevo método destacó en este equilibrio, llevando a modelos de recompensa que podían entrenar con éxito políticas robóticas para realizar tareas complejas, igualando el rendimiento de las políticas entrenadas con métodos mucho más costosos y lentos.

Uno de los aspectos más sorprendentes de este trabajo es cómo cambia el flujo de trabajo de entrenamiento de estos sistemas. Los métodos tradicionales a menudo requieren que la computadora reentrene o reevalúe toda su comprensión del mundo cada vez que recibe una nueva pieza de retroalimentación, un proceso que se vuelve más lento a medida que el sistema crece. El nuevo método, por el contrario, actualiza su conocimiento de forma secuencial, incorporando solo la última pieza de información mientras mantiene una estimación continua de lo que ha aprendido hasta el momento. Esto permite que el sistema escale eficientemente, manejando redes neuronales más grandes y generando más muestras de posibles modelos de recompensa sin quedarse sin memoria o tiempo. Los investigadores también demostraron que este enfoque funciona incluso cuando se parte de cero datos iniciales, utilizando una técnica de proyección aleatoria para construir el subespacio necesario desde cero, y mostró potencial cuando se aplicó a tareas basadas en imágenes donde los datos de entrada son mucho más complejos que simples números.

Aunque el método muestra una gran promesa, los investigadores son cuidadosos al señalar sus límites. El marco matemático que utilizaron asume que las preferencias que se aprenden provienen de una fuente única y consistente. Cuando probaron el sistema con datos de múltiples anotadores humanos que podrían tener opiniones conflictivas, el método tuvo dificultades para capturar la complejidad total de esas opiniones divergentes. Esto sugiere que, si bien el enfoque es una herramienta poderosa para agilizar el proceso de aprendizaje, es más adecuado para escenarios donde se modela un conjunto de preferencias único y coherente. No obstante, los resultados indican un paso significativo para hacer que la inteligencia artificial sea más adaptable a la intención humana. Al hacer que el proceso de aprendizaje a partir de la retroalimentación sea más rápido y eficiente, este trabajo elimina una barrera importante para el despliegue de sistemas inteligentes en entornos del mundo real, desde recomendaciones personalizadas hasta robots autónomos, donde el costo del tiempo humano es alto y la necesidad de un aprendizaje rápido y preciso es crítica.

Resumen Técnico: La Inferencia en Subespacios Permite un Aprendizaje de Recompensa Activo Eficiente a partir de Preferencias

Declaración del Problema

El Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF) es una técnica dominante para alinear agentes con las intenciones humanas, pero sufre de una baja eficiencia de muestreo. Dado que la retroalimentación de preferencias humanas proporciona, como máximo, un bit de información por consulta, el aprendizaje de un modelo de recompensa (RM) a menudo requiere miles de comparaciones, lo cual no es escalable. El aprendizaje activo aborda esto seleccionando juiciosamente las consultas para maximizar la ganancia de información. Sin embargo, un aprendizaje activo efectivo requiere una cuantificación de la incertidumbre (UQ) robusta del modelo de recompensa.

Aunque los métodos Bayesianos ofrecen una representación de la incertidumbre con principios sólidos, tienen dificultades para escalar a modelos de recompensa de redes neuronales (NN) de gran tamaño debido a la intratabilidad computacional de realizar la inferencia de la posterior sobre espacios de parámetros de alta dimensión. Por el contrario, otras alternativas populares como los métodos de ensamble o el dropout son computacionalmente costosas (requieren entrenar múltiples modelos independientes) o proporcionan aproximaciones de la posterior deficientes. El desafío central es desarrollar un método que permita un aprendizaje activo de la recompensa escalable y eficiente en muestras para modelos de recompensa de redes neuronales sin la sobrecarga de entrenar ensambles.

Metodología: PreferenceEKF

Los autores proponen PreferenceEKF, un enfoque de muestreo eficiente que enmarca el aprendizaje de preferencias activo como un problema de filtrado Bayesiano secuencial. El método aprovecha dos ideas clave:

Filtrado Secuencial: En lugar de un entrenamiento por lotes (batch training), el método actualiza la posterior de la recompensa secuencialmente a medida que llegan nuevas consultas de preferencia, utilizando un Filtro de Kalman Extendido (EKF).
Inferencia en Subespacios: Reconociendo que las redes neuronales están sobreparametrizadas y que las soluciones suelen residir en un subespacio de baja dimensión, el método realiza la inferencia EKF dentro de este subespacio en lugar del espacio de parámetros completo.

Flujo de Trabajo Técnico

Construcción del Subespacio:
- Se utiliza un conjunto de datos inicial para ejecutar el Descenso de Gradiente Estocástico (SGD) durante algunas iteraciones.
- Las iteraciones de parámetros resultantes se utilizan para construir un subespacio de baja dimensión. Esto se realiza mediante la Descomposición en Valores Singulares (SVD) de las iteraciones de SGD para obtener una matriz de proyección $A$ , o alternativamente mediante proyecciones aleatorias.
- El espacio de parámetros completo $\theta$ se aproxima mediante un mapeo afín $\theta(z) = Az + \theta^*$ , donde $z$ representa los parámetros del subespacio de baja dimensión ( $|z| \ll |\theta|$ ).
Filtrado Bayesiano Secuencial (EKF):
- El método trata los parámetros de la red neuronal como estados ocultos que evolucionan en el tiempo.
- Modelo de Dinámica: Asume una función identidad con ruido Gaussiano aditivo ( $p(\theta_i | \theta_{i-1}) = \mathcal{N}(\theta_i | \theta_{i-1}, U)$ ).
- Modelo de Medición: Utiliza el modelo de Bradley-Terry (BT) para predecir etiquetas de preferencia dadas las parejas de trayectorias. La verosimilitud de BT se linealiza alrededor de la media de la posterior actual para ajustarse al marco de trabajo de EKF.
- Paso de Actualización: Al recibir un nuevo par de consulta-respuesta $(Q_i, y_i)$ , el EKF actualiza la distribución posterior de los parámetros del subespacio $z$ de forma cerrada. La posterior sigue siendo Gaussiana: $b_i = \mathcal{N}(\mu'_i, \Sigma'_i)$ .
Bucle de Aprendizaje Activo:
- El método toma una muestra de un número arbitrario de modelos de la posterior del subespacio aprendido.
- Estas muestras se proyectan de nuevo al espacio completo para calcular las funciones de adquisición. Los autores utilizan específicamente InfoGain (información mutua entre la etiqueta de la consulta y los parámetros del modelo) para seleccionar la consulta más informativa.
- A diferencia de los métodos de ensamble que reentrenan sobre todos los datos, PreferenceEKF se actualiza solo sobre la consulta más reciente, lo que lo hace computacionalmente eficiente.

Contribuciones Claves

Primer Filtrado de Subespacio para Modelos de Recompensa de NN: El artículo afirma ser el primero en aprovechar el filtrado de subespacios para entrenar modelos de recompensa de redes neuronales a partir de retroalimentación de preferencias.
Inferencia Bayesiana Escalable: Al restringir la inferencia a un subespacio de baja dimensión, el método hace que el Filtro de Kalman Extendido sea tratable para redes neuronales profundas, evitando la complejidad $O(|\theta|^2)$ de las matrices de covarianza completas.
Cálculo Eficiente de la Función de Adquisición: La capacidad de muestrear un número arbitrario de modelos de la posterior del subespacio permite el cálculo escalable de InfoGain, una función de adquisición de vanguardia previamente restringida a modelos de baja dimensión.
Sin Sobrecarga de Entrenamiento de Ensambles: A diferencia de DeepEnsembles, PreferenceEKF no requiere entrenar múltiples modelos independientes, lo que reduce significativamente el uso de tiempo de ejecución y memoria.

Resultados Experimentales

Los autores evaluaron PreferenceEKF en los benchmarks D4RL y V-D4RL a través de 12 tareas que involucran locomoción de MuJoCo, manipulación de Adroit y navegación en Maze2D. Compararon el método contra cuatro líneas base: DeepEnsemble, Dropout, Aproximación de Laplace y Last-Layer MCMC (LLMCMC).

Eficiencia de Muestreo: PreferenceEKF tuvo un rendimiento igual o superior a todas las líneas base de aprendizaje profundo bayesiano en términos de eficiencia de muestreo y log-verosimilitud final en consultas de prueba no vistas.
Tiempo de Ejecución y Escalabilidad:
- PreferenceEKF logró aproximadamente una aceleración de 5x en comparación con DeepEnsemble y más de 40x en comparación con LLMCMC.
- El método escala de forma fluida tanto con el número de muestras de la posterior ( $M$ ) como con el tamaño de la arquitectura de la red neuronal, mientras que las líneas base (especialmente los ensambles) sufren de restricciones de memoria o problemas de escalamiento lineal.
Calibración: PreferenceEKF demostró una calibración de modelo superior, logrando el Error de Calibración Esperada (ECE) más bajo entre todos los métodos y el segundo Brier score más bajo.
Optimización de la Política: Cuando los modelos de recompensa aprendidos se utilizaron para el aprendizaje por refuerzo fuera de línea (mediante Implicit Q-Learning), las políticas resultantes alcanzaron un rendimiento competitivo con aquellas entrenadas con modelos de recompensa de otros métodos, a menudo igualando o superando ligeramente a la política de la recompensa real (ground-truth).
Robustez: El método se mantuvo efectivo incluso sin un conjunto de datos de calentamiento inicial (usando proyecciones aleatorias) y mostró potencial en entornos de retroalimentación dispersa (datos de robots reales) y tareas basadas en píxeles (usando embeddings de imágenes preentrenadas).

Significancia y Reivindicaciones

El artículo posiciona a PreferenceEKF como una solución viable para escalar el aprendizaje profundo bayesiano a grandes modelos de recompensa de redes neuronales en RLHF. Los autores afirman que su enfoque logra equilibrar con éxito la necesidad de una cuantificación de la incertidumbre basada en principios con la tratabilidad computacional.

Eficiencia: La contribución principal es mejorar la eficiencia de muestreo del aprendizaje de recompensa basado en preferencias, reduciendo drásticamente el costo computacional de entrenamiento e inferencia en comparación con los métodos de aprendizaje profundo bayesiano existentes.
Practicidad: El método permite el uso de funciones de adquisición de alta dimensión como InfoGain para redes neuronales, lo cual era previamente inviable.
Limitaciones: Los autores reconocen modestamente que la suposición Gaussiana de EKF limita el método a entornos de un solo anotador (posteriores unimodales) y que extenderlo a modelos de recompensa a escala de modelos fundacionales o distribuciones de preferencia multimodales (por ejemplo, diversos anotadores humanos) sigue siendo un desafío abierto. También señalan que, aunque sus modelos de recompensa conducen a políticas competitivas, la correlación directa entre la log-verosimilitud del modelo de recompensa y el rendimiento final de la política es compleja y no se garantiza que mejore únicamente mediante un mejor aprendizaje de la recompensa.

En conclusión, el artículo demuestra que la inferencia en subespacios mediante EKF ofrece una alternativa escalable, eficiente y bien calibrada a los métodos basados en ensambles y otros métodos de aprendizaje profundo bayesiano para el aprendizaje de recompensa activo a partir de preferencias humanas.