💻 computer science

SubSearch: Intermediate Rewards for Unsupervised Guided Reasoning in Complex Retrieval

El artículo presenta SubSearch, un marco que mejora el razonamiento guiado en modelos de lenguaje grandes para consultas complejas mediante recompensas intrínsecas en pasos intermedios, eliminando la necesidad de supervisión externa y logrando un rendimiento superior en múltiples conjuntos de datos de preguntas y respuestas.

Autores originales: Roxana Petcu, Evangelos Kanoulas, Maarten de Rijke

Publicado 2026-04-10

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Roxana Petcu, Evangelos Kanoulas, Maarten de Rijke

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que tienes un detective privado (el modelo de lenguaje) al que le pides resolver un caso muy complicado, como: "¿Qué banco tiene más sucursales, el CITIC o el UniCredit?".

Antes de este nuevo método, el detective tenía dos formas de trabajar:

Adivinar y rezar: Intentaba responder de un solo golpe. A menudo fallaba porque no sabía buscar la información correcta.
Seguir un manual estricto: Un supervisor humano le enseñaba paso a paso cómo resolver el caso. Esto funcionaba bien, pero era lento, costoso y el detective solo aprendía a copiar el manual, no a pensar por sí mismo.

SubSearch es como darle al detective un nuevo sistema de entrenamiento que lo convierte en un maestro de la investigación sin necesidad de que un humano le diga cada paso.

Aquí te explico cómo funciona con una analogía sencilla:

1. El Problema: "Solo importa el resultado"

Imagina que le dices al detective: "Si adivinas el nombre del banco al final, te doy una medalla de oro. Si fallas, no pasa nada".
El detective, siendo muy listo pero un poco tramposo, podría decir: "¡El banco es UniCredit!" sin buscar nada. O peor, podría buscar información errónea, mezclarla y, por pura suerte, llegar a la respuesta correcta. A esto los expertos le llaman "hacking de recompensa": el detective aprende a ganar la medalla sin aprender a investigar de verdad.

2. La Solución: SubSearch (El Sistema de "Premios Intermedios")

SubSearch cambia las reglas del juego. En lugar de esperar al final para dar la medalla, el detective recibe premios pequeños y automáticos en cada paso del camino.

Imagina que el detective tiene un cuaderno de notas mágico (el sistema de recompensas intrínsecas). Cada vez que hace algo bien, el cuaderno le da un "punto de energía":

Premio por Descomponer el Caso: Si el detective toma una pregunta gigante y la divide en preguntas pequeñas y manejables (ej. "¿Cuántas sucursales tiene el CITIC?" y "¿Cuántas tiene el UniCredit?"), el cuaderno le da puntos. Es como si el detective dijera: "¡Genial! He dividido el rompecabezas en piezas más fáciles".
Premio por Buscar Bien: Si las preguntas pequeñas que escribió son claras y traen documentos útiles, el cuaderno le da más puntos. Si escribe una pregunta confusa que no trae nada, no recibe puntos.
Premio por la Estructura: Si el detective sigue el formato correcto (pensar, buscar, leer, responder), el cuaderno le da puntos extra para mantener la calma y no volverse loco.

3. ¿Por qué es especial? (La Magia "Intrínseca")

En trabajos anteriores, para dar estos premios intermedios, necesitaban a un juez humano o a otro robot muy caro que leyera cada paso y dijera: "Buen trabajo, buen paso". Eso es lento y caro.

SubSearch es autónomo. El detective tiene un sensor interno (el "cuaderno mágico") que sabe automáticamente si sus preguntas tienen sentido o si la información que encontró es relevante. No necesita a nadie más para decirle si lo está haciendo bien; él mismo se autoevalúa basándose en la lógica interna.

4. El Resultado: Un Detective más Robusto

Gracias a estos premios intermedios:

El detective aprende a planificar mejor.
No se conforma con adivinar; aprende a desglosar problemas complejos.
Se vuelve más preciso en preguntas difíciles que requieren saltar de un dato a otro (como en los casos de "Preguntas de varios saltos" o multi-hop).

En resumen

SubSearch es como enseñar a un niño a cocinar un pastel complejo.

El método viejo: Decirle "Si el pastel sale bien al horno, te doy un premio". El niño podría quemar todo y adivinar que el pastel está bien.
SubSearch: Decirle: "Si mezclas bien los ingredientes, te doy un punto. Si cortas la fruta correctamente, otro punto. Si el horno está a la temperatura justa, otro punto". Al final, el pastel sale perfecto porque el niño aprendió a valorar cada paso del proceso, no solo el resultado final.

Este sistema permite que las Inteligencias Artificiales sean mejores investigadores, capaces de resolver problemas del mundo real de forma más inteligente, rápida y sin depender de que un humano les enseñe cada movimiento.

`).

Descomponer consultas complejas en subconsultas (máximo 3) si es necesario.
Ejecutar búsquedas (<search>) y procesar documentos recuperados (<information>).
Generar una respuesta final (<answer>).
El modelo aprende a decidir cuándo descomponer la consulta y cuándo buscar, permitiendo tanto descomposiciones secuenciales como paralelas.

B. Modelado de Recompensas Intermedias Intrínsecas

A diferencia de los PRMs externos, SubSearch define recompensas derivadas internamente del estado del modelo y del entorno de búsqueda, eliminando la necesidad de anotadores externos:

Recompensa de Respuesta (Outcome): Basada en la coincidencia exacta de cadenas (EM) entre la respuesta generada y la respuesta dorada.
Recompensa de Factibilidad de Subconsulta (Answerability): Mide qué tan bien el motor de búsqueda responde a una subconsulta específica. Se calcula como la similitud coseno entre la incrustación (embedding) de la subconsulta y los documentos recuperados. Esto actúa como una señal continua de cobertura de información.
Recompensa de Descomposición (Decomposition): Evalúa la calidad de la división de la consulta en subconsultas. Combina dos objetivos:
- Cobertura Semántica: Asegura que las subconsultas mantengan la misma información que la consulta padre (evitando la "deriva de consulta").
- Divisibilidad Intra-grupo: Maximiza la relevancia de cada subconsulta con respecto al padre y su unicidad respecto a sus hermanos (evitando redundancia).
Recompensa de Formato: Penaliza la falta de estructura en los tokens de acción (como <search>, <answer>) para estabilizar el entrenamiento y evitar colapsos del modelo.

C. Agregación Adaptativa

Para combinar estas señales, SubSearch utiliza una agregación de recompensa residual adaptativa. En lugar de una suma ponderada simple (que podría castigar trayectorias de razonamiento correctas si una subconsulta intermedia no es óptima), el sistema aplica las recompensas intermedias de manera residual cuando el modelo no ha alcanzado la respuesta correcta. Un parámetro $\beta$ se adapta dinámicamente durante el entrenamiento para dar más peso a las recompensas intermedias cuando el modelo falla en los pasos finales.

El entrenamiento se realiza utilizando Optimización de Política Relativa por Grupos (GRPO), un algoritmo de RL que no requiere un modelo de valor crítico, optimizando directamente la política del generador.

3. Contribuciones Clave

Recompensas de Proceso Intrínsecas: Introducen un mecanismo que no depende de anotadores humanos ni de modelos de recompensa externos, permitiendo un razonamiento intensivo en información autónomo.
Marco de Descomposición Dinámica: Proporcionan una plantilla y una política que incentivan la descomposición de consultas complejas en subconsultas manejables, mejorando la recuperación de información.
Eficiencia de Datos: Demuestran que es posible lograr un rendimiento competitivo con agentes de búsqueda sin necesidad de conjuntos de datos de trayectorias de razonamiento anotadas (SFT), superando las limitaciones de escalabilidad de los métodos supervisados.
Agregación Adaptativa: Proponen una nueva función de agregación de recompensas que equilibra la exploración de pasos intermedios con la explotación del resultado final, mitigando el problema de la penalización excesiva de pasos intermedios imperfectos.

4. Resultados Experimentales

Los autores evaluaron SubSearch en siete conjuntos de datos de referencia (benchmarks), incluyendo QA de dominio abierto (Natural Questions, TriviaQA, PopQA) y razonamiento multi-hop (HotpotQA, 2WikiMultiHopQA, MuSiQue, Bamboogle).

Rendimiento Superior: SubSearch superó consistentemente a otros agentes basados en RL que solo utilizan recompensas globales (como Search-R1 y ZeroSearch) y a métodos de inferencia directa (CoT, RAG).
- Mejoras significativas en benchmarks complejos: +6.5 EM en HotpotQA, +7.7 EM en 2WikiMultiHopQA y +13.5 EM en Bamboogle.
Comparación con SFT: Aunque los métodos que combinan SFT con RL (como InForage y O2-Searcher) establecen un límite superior alto debido al uso de datos anotados, SubSearch (que es libre de SFT) logró un rendimiento competitivo, demostrando que el diseño de recompensas intermedias intrínsecas es una alternativa escalable y eficiente.
Ablación: Los experimentos mostraron que la descomposición de consultas por sí sola mejora el rendimiento, pero la incorporación de recompensas intermedias (factibilidad y descomposición) es crucial para los conjuntos de datos con estructura composicional. Además, se observó que el uso de recompensas intermedias puede ser perjudicial en consultas simples (factoides) donde la descomposición no es necesaria, validando la importancia de la adaptación dinámica.

5. Significado e Impacto

El trabajo de SubSearch representa un avance significativo hacia la creación de agentes de IA autónomos capaces de realizar razonamiento complejo e intensivo en información sin depender de costosas anotaciones humanas.

Escalabilidad: Al eliminar la necesidad de modelos de recompensa externos o datos etiquetados, el método es más escalable y aplicable a dominios donde la anotación es difícil.
Robustez del Razonamiento: Al incentivar la calidad de los pasos intermedios (descomposición y recuperación), el modelo genera trazas de razonamiento más robustas y lógicas, reduciendo la probabilidad de "alucinaciones" o hackeo de recompensas.
Futuro: El artículo abre la puerta a la optimización conjunta de generadores y recuperadores, sugiriendo que las señales intrínsecas pueden ser el camino hacia sistemas de búsqueda y razonamiento totalmente autónomos.

En resumen, SubSearch demuestra que guiar el proceso de razonamiento de los LLMs mediante recompensas intermedias derivadas internamente es una estrategia superior a la supervisión basada únicamente en el resultado final para tareas de recuperación de información compleja.