💬 NLP

Interactor: Agentic RL oriented Iterative Creation for Ad Description Generation in Sponsored Search

Este artículo presenta Interactor, un marco de aprendizaje por refuerzo agéntico que refina iterativamente las descripciones de anuncios en la búsqueda patrocinada mediante interacciones de múltiples turnos con modelos de recompensa generativos, mejorando significativamente la riqueza de conocimiento y la consistencia con la página de destino al tiempo que logra un despliegue en línea exitoso.

Autores originales: Penghui Wei, Jiayu Wu, Chao Ye, Zhi Guo, Shuanglong Li, Lin Liu

Publicado 2026-06-16

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Penghui Wei, Jiayu Wu, Chao Ye, Zhi Guo, Shuanglong Li, Lin Liu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un puesto de limonada, pero en lugar de solo gritar "¡Limonada!" (lo cual es como un título de anuncio), tienes un tablero de menú largo y detallado donde puedes explicar por qué tu limonada es especial.

Este documento presenta un nuevo sistema llamado INTERACTOR que actúa como un asistente de marketing súper inteligente y autocorrectivo para escribir esas descripciones largas y detalladas para anuncios de búsqueda.

Así es como funciona, desglosado en conceptos simples:

1. El Problema: El error del "Un solo intento"

La mayoría de las herramientas de IA actuales intentan escribir la descripción de un anuncio en un solo paso, como un estudiante tomando un examen sin una hoja de borrador. A veces lo hacen bien, pero a menudo cometen dos errores grandes:

Inventan cosas: Podrían decir que tu limonada usa "limones orgánicos" cuando tu proveedor solo vende limones normales (esto se llama ser infiel a la página de destino).
Son demasiado vagos: Podrían simplemente decir "Sabe bien" en lugar de explicar que los limones son recolectados a mano al amanecer (perdiendo el conocimiento del mundo).

Debido a que la IA no puede "ver" la reacción del usuario de inmediato, sigue cometiendo los mismos errores.

2. La Solución: El bucle "Entrenador y Jugador"

INTERACTOR cambia las reglas del juego. En lugar de un examen de un solo intento, convierte la escritura de anuncios en una conversación de múltiples turnos entre un Jugador (la IA que escribe el anuncio) y un Entrenador (un conjunto de jueces de IA especializados).

Aquí está el bucle paso a paso:

El Jugador hace un borrador: La IA escribe una primera versión del anuncio.
El Entrenador lo revisa: El Entrenador no solo da una puntuación (como "8/10"). Actúa como un editor estricto con un bolígrafo rojo. Dice:
- "Afirmaste 'envío gratis', pero tu sitio web dice 'se aplica tarifa de entrega'. Eso es una mentira. Corrígelo".
- "No mencionaste que el sésamo negro ayuda con la salud del cabello, que es lo que el usuario realmente está preguntando. Añade eso".
El Jugador perfecciona: La IA lee las notas del Entrenador, reflexiona sobre ellas y vuelve a escribir el anuncio para corregir los errores específicos.
Repetir: Esto sucede varias veces hasta que el anuncio es perfecto.

3. El ingrediente secreto: "RL Agéntico"

El documento llama a esto Aprendizaje por Refuerzo Agéntico (Agentic RL). Piensa en esto como entrenar a un perro, pero el perro es lo suficientemente inteligente como para entender por qué recibió un premio o una corrección.

RL Tradicional: La IA recibe una señal de "¡Buen trabajo!" o "Mal trabajo". Ella adivina qué hacer a continuación.
INTERACTOR (RL Agéntico): La IA recibe un feedback de razonamiento. Sabe exactamente qué frase estaba mal y por qué. Esto le permite aprender mucho más rápido y escribir descripciones mucho mejores.

4. Los Resultados: De la "paja" a los "hechos"

El documento probó esto con datos reales del motor de búsqueda de Baidu.

Antes: Los anuncios de la IA solían ser "vacíos" (llenos de palabras sin sustancia) o "alucinaban" (inventaban hechos).
Después: El sistema INTERACTOR produjo anuncios que eran:
- Ricos en conocimiento: Realmente respondían a la pregunta del usuario con hechos reales.
- Fieles: Se ceñían estrictamente a lo que el anunciante realmente ofrecía en su sitio web.
- Más clics: Debido a que los anuncios eran mejores, más personas hicieron clic en ellos y la empresa ganó más dinero.

5. Impacto en el Mundo Real

El documento afirma que desde mayo de 2026, este sistema se está ejecutando en vivo en un importante motor de búsqueda. No es solo una teoría; actualmente está ayudando a los anunciantes a escribir mejores anuncios y ayudando a los usuarios a encontrar información más relevante, todo mientras aumenta los ingresos del motor de búsqueda.

En pocas palabras: INTERACTOR es como darle a un escritor de IA un equipo de editores expertos que no solo califican el texto, sino que se sientan a ayudar al escritor a corregir cada uno de sus errores hasta que el anuncio sea perfecto.

<thought>: etiquetas utilizadas para comprender el contexto y planificar.

Respuesta: Encerrada en etiquetas específicas, que representan acciones reales:
- <retrieve>: Solicita a un motor de búsqueda la inyección de conocimiento relevante del mundo.
- <create>: Genera o refina la descripción del anuncio.
- <reward>: Solicita la evaluación de modelos de recompensa.

2. Entorno Personalizado

El entorno proporciona observaciones y recompensas a través de dos componentes principales:

Modelos de Recompensa Generativa (GenRMs): A diferencia de los modelos de recompensa escalares, estos son modelos basados en rúbricas (implementados como LLMs de frontera de caja negra) que evalúan dimensiones de calidad específicas:
- Capacidad de Conocimiento: Verifica si la descripción contiene conocimiento del mundo relevante para la intención del usuario.
- Consistencia con la Página de Destino: Verifica que todos los puntos de venta estén estrictamente implicados por la información de la página de destino, evitando exageraciones infieles.
- Salida: Los GenRMs proporcionan tanto una señal binaria (pasa/falla) como retroalimentación de razonamiento detallada (por ejemplo, explicando por qué una frase es infiel o qué conocimiento falta).
Motor de Búsqueda: Recupera conocimiento relevante de un corpus masivo de páginas web enciclopédicas para aumentar el contexto, asegurando que el texto generado esté fundamentado en conocimiento externo.

3. Optimización de RL Agéntico

El marco optimiza la política utilizando Optimización de Política de Secuencia de Grupo (GSPO), un método sin crítico.

Rollouts: Cada episodio es una secuencia de rollout multivuelta $\tau$ .
Señal de Recompensa: La recompensa total $r_t$ es una suma ponderada de las señales de calidad binarias de los GenRMs (Capacidad de Conocimiento y Consistencia con la Página de Destino) y una puntuación de CTR predicha derivada de un modelo entrenado con registros de retroalimentación histórica de usuarios.
Actualización de la Política: La ventaja se estima mediante la normalización basada en grupos a través de múltiples rollouts por prompt. Durante el cómputo del gradiente, solo se actualizan los tokens generados por la política, mientras que los tokens proporcionados por el entorno (observaciones) y las entradas de la tarea son enmascarados.

Contribuciones Clave

Cambio de Enfoque: El artículo identifica la necesidad industrial de cambiar de la generación de títulos impulsada por el CTR a la generación de descripciones informativas, enfatizando el modelado explícito del conocimiento del mundo para satisfacer la intención del usuario.
Marco Iterativo: Propone INTERACTOR, un marco de múltiples vueltas donde una política de LLM se optimiza mediante RL agéntico. Esto permite la mejora continua en la capacidad de conocimiento y la consistencia con la página de destino a través de retroalimentación detallada basada en el razonamiento, en lugar de solo señales escalares.
Validación Empírica: Los experimentos en conjuntos de datos industriales a gran escala demuestran que INTERACTOR supera significativamente a los enfoques de una sola vuelta de última generación en la generación de descripciones ricas en conocimiento y fieles.

Resultados Experimentales

El marco fue evaluado en un conjunto de datos propietario de 1 millón de pares usuario-anuncio de un motor de búsqueda líder en China.

Métricas Offline: INTERACTO superó a los baselines (incluyendo CTOP, DIVER y un modelo de producción de RL de una sola vuelta) en todas las dimensiones:
- Fidelidad (Faithfulness): Alcanzó 0.872, significativamente superior al baseline de RL de una sola vuelta (0.726) y otros competidores.
- Informatividad: Puntuó 0.715, superando al baseline de RL de una sola vuelta (0.693).
- Atractivo (CTR Predicho): Alcanzó 12.4%, superando ligeramente al baseline de una sola vuelta (12.3%).
Estudios de Ablación:
- Eliminar la retroalimentación de razonamiento de los GenRMs ("w/o reasoning") causó una caída drástica en el rendimiento, confirmando que la retroalimentación detallada es el factor crítico para el proceso iterativo.
- La vuelta final de la iteración superó consistentemente a la penúltima vuelta, validando la capacidad de mejora continua.
Prueba A/B Online: Desplegado en un sistema de anuncios de búsqueda líder que cubre más de 140,000 anunciantes desde mayo de 2026. Los resultados mostraron un incremento de +0.74% en los ingresos publicitarios y un incremento de +7 puntos porcentuales en la tasa de grado superior para la calidad general del contenido en evaluaciones humanas.

Significancia y Reivindicaciones

El artículo afirma que el marco INTERACTOR representa un avance significativo en la generación de textos publicitarios al ir más allá de las limitaciones de la generación de un solo paso basada en recompensas escalares. Al aprovechar el RL agéntico con iteración de múltiples vueltas y modelos de recompensa generativos, el sistema maneja eficazmente las complejas restricciones de las descripciones de anuncios de formato largo, equilibrando la necesidad de conocimiento informativo del mundo con la adherencia estricta a los hechos de la página de destino. El despliegue online exitoso demuestra la viabilidad práctica de este enfoque para mejorar tanto los ingresos de los anunciantes como la experiencia del usuario en sistemas de búsqueda patrocinada del mundo real.