Resumen Técnico: SEARCHSKILL

Enunciado del Problema

Los Modelos de Lenguaje Grande (LLM) poseen un amplio conocimiento paramétrico, pero permanecen fundamentalmente estáticos, careciendo a menudo de los hechos de cola larga o la información actualizada requerida para tareas intensivas en conocimiento, como la respuesta a preguntas (QA) de dominio abierto y multi-salto. Aunque los marcos de Generación Aumentada por Recuperación (RAG) y de uso de herramientas (por ejemplo, ReAct, Toolformer) han permitido que los LLM interactúen con motores de búsqueda, persiste un cuello de botella crítico: la calidad de la consulta.

Los métodos existentes a menudo enseñan a los modelos qué buscar, pero no cómo formular consultas de alta calidad. En entornos de múltiples saltos, los modelos frecuentemente emiten consultas amplias, copiadas o redundantes (por ejemplo, pegar toda la pregunta en la barra de búsqueda). Esto conduce a un desperdicio de presupuestos de recuperación, evidencia ruidosa, llamadas a herramientas redundantes y una precisión de razonamiento degradada. Además, los marcos actuales de "habilidad" para agentes no definen explícitamente cómo deben representarse, invocarse o actualizarse las habilidades dentro del contexto específico de las trayectorias de búsqueda, particularmente en lo que respecta a cómo una habilidad moldea la siguiente consulta, el comportamiento de verificación y las decisiones de detención.

Metodología: SEARCHSKILL

Los autores proponen SEARCHSKILL, un marco que hace explícito el uso de herramientas de búsqueda al factorizar cada paso de interacción en selección de habilidad seguido de ejecución fundamentada en la habilidad. La innovación central es un SkillBank (Banco de Habilidades) evolutivo que sirve como una priori externa y reutilizable para estrategias de búsqueda.

1. La Interfaz Condicionada por Habilidad

En lugar de tratar la búsqueda como una acción indiferenciada, SEARCHSKILL impone un protocolo a nivel de token:

1. Selección de Habilidad: El modelo emite una etiqueta <skill>...</skill> para declarar la estrategia reutilizable específica que empleará (por ejemplo, bridge-entity-search, parallel-attribute-compare).
2. Ejecución: Condicionado a la tarjeta de habilidad seleccionada, el modelo genera una consulta <search>...</search> o una respuesta <answer>...</answer>.
3. Retroalimentación: La evidencia recuperada se devuelve mediante etiquetas <information>...</information>.

Esta interfaz convierte la elección de la estrategia en una variable de control explícita y entrenable antes de cada acción de recuperación o respuesta.

2. SkillBank Evolutivo

El SkillBank no es estático; evoluciona a través de un bucle externo impulsado por fallos alineado con el aumento de la dificultad de la tarea (desde saltos únicos hasta conjuntos de datos complejos de múltiples saltos como MuSiQue):

• Inicialización: Comienza con un banco de semillas compacto ($B_0$) que contiene habilidades generales de recuperación y fundamentación.
• Refinamiento: En cada etapa, el sistema analiza patrones de fallo recurrentes de las ejecuciones del modelo. Un modelo tutor (GPT-5.4) propone nuevas habilidades o refinamientos de las existentes basándose en estos fallos (por ejemplo, añadir bridge-entity-search para el razonamiento de múltiples saltos).
• Reconstrucción: Tras aceptar una actualización del banco, las trayectorias afectadas se reconstruyen para garantizar la consistencia.
• Taxonomía: El banco final ($B_4$) incluye habilidades para búsqueda directa, resolución de puentes, descomposición de cadenas de relaciones, anclaje temporal, verificación de conflictos y fundamentación de respuestas.

3. Ajuste Fino Supervisado (SFT) en Dos Etapas

La receta de entrenamiento alinea el modelo con el protocolo de tiempo de inferencia:

• Etapa 1 (Ejecución): El modelo aprende el formato básico de acción: emitir una etiqueta <skill> seguida de una etiqueta <search> o <answer>. Esta etapa utiliza un conjunto de trayectorias validadas de tutores para enseñar la planificación de consultas etiquetadas con habilidades y la detención fundamentada.
• Etapa 2 (Enrutamiento): El modelo aprende a seleccionar habilidades del índice del SkillBank. Cada turno de acción original se divide en un turno de selección de habilidad, un turno de usuario que contiene el contenido de la tarjeta de habilidad seleccionada y el turno de acción original. El modelo debe enrutarse a través del SkillBank sin pistas específicas de la pregunta, condicionando su siguiente acción al contenido de la tarjeta seleccionada.

4. Aprendizaje por Refuerzo (Auxiliar)

Los autores también exploran una etapa ligera de GRPO (Optimización de Política Relativa de Grupo) posterior al SFT para refinar aún más el comportamiento de búsqueda, dirigiéndose específicamente al uso de evidencia, la fundamentación de respuestas y el comportamiento de detención, aunque las ganancias principales se atribuyen al proceso de SFT.

Contribuciones Clave

1. Interfaz Condicionada por Habilidad: Un marco novedoso que mejora la formulación de consultas al obligar al modelo a seleccionar una estrategia de búsqueda reutilizable antes de cada llamada a herramienta, abordando el fallo de emitir consultas de múltiples saltos amplias o copiadas.
2. SkillBank de Búsqueda Evolutivo: Un repositorio dinámico actualizado mediante análisis de fallos, operaciones de añadir/refinar y reconstrucción de trayectorias. Proporciona una priori reutilizable para el uso de herramientas que se extiende más allá del entorno específico de QA.
3. Receta de SFT en Dos Etapas: Una metodología de entrenamiento que logra un rendimiento comparable o superior al de agentes de búsqueda basados en RL a gran escala (como Search-R1), evitando el alto costo computacional de las ejecuciones de RL.
4. Generalizabilidad: Efectividad demostrada tanto en modelos de código abierto (Qwen2.5 3B/7B) como en modelos de código cerrado. El SkillBank congelado puede servir como una guía de planificación externa para modelos propietarios sin necesidad de ajuste fino.

Resultados Experimentales

El marco se evaluó en siete puntos de referencia que abarcan QA de un solo salto (Natural Questions, TriviaQA, PopQA) y de múltiples saltos (HotpotQA, 2WikiMultiHopQA, MuSiQue, Bamboogle).

• Rendimiento: SEARCHSKILL logró las puntuaciones máximas de Coincidencia Exacta (EM) macro promedio tanto en Qwen2.5-7B (42.34%) como en Qwen2.5-3B (36.94%), superando a bases fuertes que incluyen Search-R1 (basado en RL) y ZeroSearch.
• Comportamiento de Consulta: El método redujo significativamente las tasas de "copia de la primera consulta" (donde el modelo copia la pregunta completa) y aumentó las consultas "enfocadas en saltos atómicos". Logró una mayor precisión dentro de un presupuesto de búsqueda pequeño (por ejemplo, Correct@≤3 búsquedas).
• Estudios de Ablación:
  • Eliminar el SkillBank (banco vacío) causó caídas en el rendimiento, confirmando el valor del enrutamiento explícito de habilidades.
  • Eliminar el contenido de las tarjetas de habilidad (manteniendo solo los IDs) también redujo el rendimiento, lo que indica que el contenido semántico de las habilidades es crucial.
  • Reemplazar el banco evolucionado con el banco de semillas ($B_0$) degradó el rendimiento, destacando la importancia del refinamiento iterativo.
• Transferencia a Código Cerrado: Aplicar el SkillBank congelado como una guía de planificación a modelos propietarios (GPT-4o-mini, Gemini 2.5 Flash Lite, Claude Haiku 4.5) produjo ganancias macro consistentes, demostrando la transferibilidad de las prioridades de búsqueda aprendidas.

Significado y Afirmaciones

El artículo postula que la planificación de consultas condicionada explícitamente por habilidades es una alternativa ligera y efectiva a tratar la búsqueda como una acción indiferenciada. Al hacer explícita y entrenable la estrategia de búsqueda, SEARCHSKILL aborda la causa raíz de la ineficiencia en la recuperación: la mala formulación de consultas.

Los autores afirman que este enfoque:

• Desacopla la estrategia de la ejecución: El SkillBank actúa como una priori externa, permitiendo que el modelo aprenda cómo buscar sin necesidad de redescubrir estos patrones implícitamente durante el SFT.
• Mejora la eficiencia: Reduce las búsquedas redundantes y mejora la calidad de la evidencia recuperada, lo que conduce a mejores respuestas dentro de presupuestos más ajustados.
• Ofrece una ruta de entrenamiento escalable: La receta de SFT en dos etapas proporciona una forma rentable de entrenar agentes de búsqueda, evitando la inestabilidad y los altos costos computacionales asociados con el entrenamiento del comportamiento de búsqueda principalmente a través de Aprendizaje por Refuerzo.

El trabajo sugiere que, aunque el RL puede refinar aún más los hábitos de ejecución (por ejemplo, el comportamiento de detención), la capacidad fundamental para una búsqueda inteligente se establece mejor mediante una supervisión estructurada y condicionada por habilidades.