🤖 AI

Self-Evolving Recommendation System: End-To-End Autonomous Model Optimization With LLM Agents

Este artículo presenta un sistema de recomendación autoevolutivo que utiliza agentes de Gemini LLM de Google para generar, validar y desplegar autónomamente arquitecturas de modelos y funciones de recompensa optimizadas a través de un flujo de trabajo de doble bucle, demostrando con éxito una velocidad de desarrollo y un rendimiento superiores en entornos de producción en YouTube en comparación con la ingeniería manual tradicional.

Autores originales: Haochen Wang, Yi Wu, Daryl Chang, Li Wei, Lukasz Heldt

Publicado 2026-08-04

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Haochen Wang, Yi Wu, Daryl Chang, Li Wei, Lukasz Heldt

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde tu aplicación de videos favorita no solo adivina qué quieres ver a continuación, sino que realmente aprende cómo mejorar sus predicciones cada día, por sí sola. Este es el reino del Aprendizaje por Refuerzo (Reinforcement Learning), una rama de la inteligencia artificial donde un programa informático actúa como un explorador curioso. Intenta diferentes acciones (como mostrarte un video de un gato o un tutorial de cocina), observa qué sucede (¿lo viste? ¿te gustó?) y recibe una "recompensa" por las buenas elecciones. El objetivo es maximizar esa recomposa a lo largo del tiempo. Pero aquí está la parte difícil: determinar cómo dar esa recompensa es increíblemente complicado. Es como intentar enseñarle a un perro a traer la pelota, pero no puedes hablar "perro", y el perro solo te dice que es feliz semanas después. Tradicionalmente, los humanos tienen que pasar años ajustando las reglas, adivinando qué es lo que el perro (o el usuario) realmente quiere, y reescribiendo el código manualmente. Este artículo plantea una pregunta audaz: ¿Qué pasaría si pudiéramos construir un sistema que hiciera este ajuste, experimentación y reescritura por sí mismo, sin necesidad de que un humano le lleve de la mano en cada paso del camino?

Los investigadores de Google proponen una solución que llaman un Sistema de Recomendación Autoevolutivo. Piensa en él como una fábrica digital donde las máquinas no solo construyen productos; sino que rediseñan el suelo de la fábrica, inventan nuevas herramientas y reescriben los manuales de instrucciones mientras la fábrica sigue funcionando. En el corazón de este sistema se encuentran los Agentes LLM, programas informáticos especializados impulsados por Modelos de Lenguaje Extensos (el mismo tipo de IA que puede escribir historias o chatear contigo). Estos agentes actúan como un equipo de ingenieros de Machine Learning superinteligentes y incansables que nunca duermen. No se limitan a ajustar unos pocos números; leen el código, proponen ideas descabelladas sobre cómo debería funcionar el sistema, escriben el código para probar esas ideas y luego comprueban los resultados.

El sistema funciona como una carrera de relevos de dos personas con ritmos muy diferentes. El primer corredor es el Agente Offline, el "Bucle Rápido". Este agente es una máquina de ideas hiperactiva. Se despierta cada cinco minutos, observa montañas de datos y genera cientos de nuevas hipótesis. Es como un chef que prueba una sopa e inmediatamente piensa: "¿Qué pasaría si añadiera una pizca de canela?" o "¿Qué pasaría si cambiara el cuchillo por una licuadora?". Prueba estas ideas rápidamente utilizando métricas "proxy": señales rápidas y fáciles de medir que insinúan si una idea es buena. Si la sopa sabe rara en el cuenco de prueba, el agente pasa a la siguiente.

El segundo corredor es el Agente Online, el "Bucle Lento". Este es el estratega cuidadoso. Toma las mejores ideas del Bucle Rápido y las pone a prueba en el mundo real, con usuarios reales. Esta es la prueba del "Norte Verdadero" (North Star). ¿Realmente hizo la nueva receta que la gente fuera más feliz y siguiera viendo más contenido? Esto toma tiempo —días o incluso semanas— porque el comportamiento humano real es lento para cambiar. El Agente Online decide qué ideas valen la pena conservar y cuáles deben desecharse, asegurando que solo los cambios más prometedores lleguen al menú final.

El artículo encuentra que este equipo autónomo es sorprendentemente efectivo. Cuando dejaron sueltos a estos agentes de IA en el sistema de recomendaciones de YouTube, los agentes no solo ajustaron configuraciones; descubrieron formas enteramente nuevas de estructurar el software. Por ejemplo, los agentes descubrieron que cambiar el "motor" del modelo de un tipo de matemáticas a otro (de Adagrad a RMSprop) hacía que aprendiera más rápido. Incluso inventaron una nueva arquitectura de "camino con compuerta" (gated path), una forma ingeniosa de permitir que la información fluya a través del sistema que los humanos no habían probado antes. Lo más impresionante es que rediseñaron el propio sistema de "recompensa". En lugar de solo contar clics, los agentes descubrieron cómo combinar señales complejas —como si un usuario compartió un video o lo vio durante mucho tiempo— para crear una definición más inteligente de "felicidad".

Los resultados fueron medibles y significativos. En las pruebas, los cambios impulsados por la IA mejoraron métricas clave para los usuarios de YouTube, superando muchos de los cambios realizados por ingenieros humanos durante el mismo periodo. El sistema logró realizar experimentos a una velocidad que los humanos no podían igualar, probando cientos de ideas a la semana en comparación con solo un puñado. Aunque el artículo señala que la IA todavía necesita que los humanos establezcan las reglas principales y verifiquen los resultados finales, sugiere que el futuro de la construcción de estos sistemas podría parecerse menos a un equipo de ingenieros programando hasta tarde en la noche y más a un jardinero cuidando un jardín que se poda y se planta a sí mismo, que crece mejor cada día. Los autores confirman que este enfoque funciona en el mundo real, demostrando que los agentes de IA pueden, de hecho, actuar como ingenieros expertos, descubriendo mejoras que son tanto estructurales como semánticas, y no solo ajustes numéricos.

Resumen Técnico: Sistema de Recomendación Auto-Evolutivo

Formulación del Problema

La optimización de sistemas de recomendación a gran escala para plataformas de video globales implica navegar por un espacio de búsqueda de hiperparámetros masivo y diseñar optimizadores, arquitecturas y funciones de recompensa complejos. Un cuello de botella crítico en este dominio es la "brecha de alineación" entre los proxies de entrenamiento diferenciables (funciones de pérdida) y las métricas de satisfacción del usuario a largo plazo, que no son diferenciables, están retrasadas y son dispersas (métricas North Star).

Los enfoques tradicionales de Aprendizaje Automático Automatizado (AutoML) se limitan a ajustar hiperparámetros numéricos dentro de espacios de búsqueda fijos. Carecen de las capacidades de razonamiento semántico para:

Interpretar los resultados de experimentos pasados para hipotetizar por qué ciertos segmentos de usuarios están siendo desatendidos.
Inventar nueva lógica de recompensa o componentes arquitectónicos desde cero.
Cerrar la brecha entre la optimización de proxies offline y los objetivos de negocio online sin una iteración manual extensiva.

Los autores formulan la tarea como un problema de optimización de dos niveles:

Nivel Inferior: Entrenar un modelo de ranking (parametrizado por pesos $\theta$ ) para minimizar una pérdida de proxy diferenciable ( $L_{proxy}$ ) dada una configuración del sistema $\Phi$ (optimizador, arquitectura, recompensa).
Nivel Superior: Encontrar la configuración óptima $\Phi^*$ que maximice las verdaderas métricas North Star online $M$ , sujeto a las restricciones del sistema. Tradicionalmente, esta búsqueda de nivel superior es realizada manualmente por investigadores humanos.

Metodología: El Sistema Auto-Evolutivo

El artículo propone un sistema autónomo de extremo a extremo donde agentes de Modelos de Lenguaje de Gran Escala (LLM) actúan como Ingenieros de Aprendizaje Automático (MLE) especializados. El sistema desacopla el proceso de descubrimiento en dos bucles de razonamiento sincronizados centrados en un Diario de Experimentos compartido (una base de conocimiento persistente de configuraciones, puntuaciones offline y métricas online).

1. El Agente Offline (Bucle Rápido)

Este agente opera como un generador de candidatos de alta frecuencia (ejecutándose cada 5 minutos). Su objetivo es nominar posibles mejoras del modelo que minimicen las métricas offline o maximicen la correlación con señales clave.

Personas Especializadas: Para prevenir alucinaciones y gestionar los límites de contexto, el sistema instancia tres personas de agentes distintas, cada una con herramientas y objetivos específicos:
- Persona de Optimizador: Busca en el espacio de algoritmos de optimización (por ejemplo, cambiar de Adagrad a RMSprop) e hiperparámetros. Utiliza la herramienta compute_loss para calificar candidatos.
- Persona de Arquitectura: Propone mutaciones estructurales a la topología neuronal (por ejemplo, introducir mecanismos de Gated Path). Utiliza compute_loss para evaluar la capacidad de aprendizaje y la expresividad.
- Persona de Recompensa: Realiza ingeniería de recompensa analizando logs de usuario mediante run_sql_query para descubrir nuevas señales (por ejemplo, "los videos compartidos generan mayor tiempo de visualización"). Utiliza compute_eval para calcular métricas de proxy independientes de la pérdida, ya que modificar la función de recompensa cambia el panorama de optimización, invalidando la comparación directa de la pérdida.
Salida: El agente genera cambios "delta" (modificaciones a la configuración actual) en lugar de archivos completos para asegurar la eficiencia del contexto y reducir errores de sintaxis.

2. El Agente Online (Bucle Lento)

Este agente opera como un estratega de experimentos de baja frecuencia (ejecutándose diariamente). Valida los candidatos contra métricas North Star retrasadas.

Función: Clasifica los candidatos producidos por el Agente Offline, seleccionando los $K$ mejores para experimentación en vivo.
Gestión del Ciclo de Vida: Gestiona el ciclo de vida del experimento a través de cinco fases: Selección (clasificación de candidatos), Entrenamiento del Modelo, Experimentación en Vivo, Síntesis de Métricas (obtención de métricas online) y Limpieza (reclamación de recursos para candidatos poco prometedores).
Seguridad: Aplica salvaguardas (por ejemplo, asegurar que métricas específicas no se degraden más allá de un umbral) antes de promover candidatos al tráfico de producción.

Contribuciones Clave

Marco de Trabajo de MLE Autónomo para Sistemas de Escala Industrial: Los autores introducen un sistema agéntico jerárquico donde los LLM actúan como expertos MLE para gestionar el ciclo de vida completo del desarrollo de modelos industriales, desde la generación de hipótesis e implementación de código hasta las pruebas A/B.
Descubrimiento Semántico: El sistema demuestra que los agentes basados en LLM pueden ir más allá del simple ajuste de parámetros para descubrir nuevos componentes arquitectónicos (por ejemplo, arquitecturas de Gated Path o GLU) y funciones de recompensa multiobjetivo que se alinean mejor con la satisfacción del usuario a largo plazo.
Aceleración de la Velocidad Experimental: El marco valida que los sistemas agénticos pueden superar a los baselines ajustados manualmente tanto en velocidad de desarrollo como en rendimiento del modelo, evolucionando efectivamente el estado del arte en los sistemas de recomendación.

Resultados y Despliegue

El sistema fue desplegado en varias superficies críticas de YouTube. Los resultados resaltan mejoras significativas sobre los baselines diseñados por humanos:

Ganancias de Rendimiento:
- Optimizador: Cambiar de Adagrad heredado a RMSprop produjo una mejora de +0.06% en métricas a nivel de YouTube y +0.12% en métricas de superficie.
- Arquitectura: El descubrimiento de una arquitectura "Gated Path" (GLU) resultó en ganancias de +0.06% (nivel YouTube) y +0.14% (nivel de superficie).
- Ingeniería de Recompensa: Una síntesis de recompensa multiobjetivo mejoró las métricas de superficie en un +0.17%, superando a los baselines humanos en un dominio históricamente difícil para la ingeniería de recompensa manual.
- Eficiencia: El sistema logró una mejora de 8x en el tiempo de entrenamiento (mediante ajustes de tamaño de lote y épocas) sin sacrificar las métricas de negocio.
Impacto Comparativo: En promedio, las mejoras generadas por el sistema agéntico superaron al 64% de los lanzamientos generados mediante enfoques manuales tradicionales para métricas a nivel de YouTube y al 73% para métricas de superficie durante un período de seis meses.
Estudios de Ablación:
- Capacidad del Modelo: Modelos más grandes con razonamiento avanzado (Gemini 2.5 Pro) superaron significativamente a las variantes más pequeñas (Gemini 2.5 Flash), confirmando que el descubrimiento algorítmico se beneficia de las capacidades de pensamiento profundo.
- Contexto y Persona: Proporcionar un historial completo y ordenado de experimentos pasados y utilizar un encuadre de "persona de MLE experto" fueron críticos para el rendimiento. Eliminar estos factores llevó a una degradación significativa en la calidad del descubrimiento.
Eficiencia: El ciclo "Idea-a-Datos" se aceleró significativamente, con el sistema generando ~100 experimentos por semana en comparación con los 1–10 de los flujos de trabajo humanos, con un costo de tokens de LLM mínimo en relación con las horas de ingeniería humana.

Significado y Reivindicaciones

El artículo afirma que este trabajo representa un paso fundamental hacia el cambio del rol del Ingeniero de Aprendizaje Automático de la generación de código y el ajuste manual hacia la definición de salvaguardas estratégicas y visión a largo plazo.

Más allá de AutoML: El sistema demuestra una transición de la "optimización automática" (selección de un espacio fijo) al "descubrimiento científico autónomo" (generación de nuevas hipótesis y cambios estructurales).
Generalizabilidad: El marco se adaptó con éxito a una superficie de recomendación de YouTube diferente con un esquema de características y una configuración de modelo completamente distintos sin reingeniería, lo que sugiere que el sistema optimiza el proceso de descubrimiento en lugar de memorizar conjuntos de datos específicos.
Escalabilidad: Al desacoplar el descubrimiento offline de alta frecuencia de la validación online de baja frecuencia, el sistema elimina el ancho de banda cognitivo humano como un cuello de botella, permitiendo la exploración de la "larga cola" del espacio de configuración que es inaccesible para los flujos de trabajo manuales.

Los autores concluyen que la evolución autónoma impulsada por LLM puede superar los flujos de trabajo de ingeniería tradicionales tanto en velocidad de desarrollo como en rendimiento del modelo, estableciendo un nuevo paradigma para el aprendizaje automático industrial.