KARL: Knowledge Agents via Reinforcement Learning

El artículo presenta KARL, un sistema de agentes de búsqueda empresarial entrenados mediante aprendizaje por refuerzo que, gracias a un nuevo paradigma de entrenamiento, datos sintéticos diversos y la evaluación en el nuevo benchmark KARLBench, logra un rendimiento superior y más eficiente en costo que los modelos comerciales más avanzados en tareas complejas de razonamiento y recuperación de conocimiento.

Lo esencial

¡Claro que sí! Imagina que el mundo de la Inteligencia Artificial es como una biblioteca gigante y desordenada. Hasta ahora, los "bibliotecarios" (los modelos de IA) eran muy inteligentes, pero a veces se perdían, se cansaban de buscar o no sabían cómo combinar la información que encontraban para dar una respuesta perfecta.

Databricks ha creado algo llamado KARL (Knowledge Agents via Reinforcement Learning), que es como un super-bibliotecario entrenado para ser el mejor investigador del mundo.

Aquí te explico cómo funciona, usando analogías sencillas:

1. El Problema: El Bibliotecario Novato

Imagina que le pides a un bibliotecario novato (un modelo de IA normal) que encuentre un dato muy específico en una biblioteca de millones de libros, pero que además tenga que cruzar información de 5 libros diferentes para resolver un acertijo.

• Lo que pasa: El bibliotecario a veces busca en el lugar equivocado, se pierde en los pasillos, o lee el libro pero no entiende cómo conectar las ideas. A veces se rinde antes de tiempo o sigue buscando cuando ya tenía la respuesta.

2. La Solución: KARL, el Detective Entrenado

KARL no es solo un bibliotecario; es un detective entrenado mediante "Reforzamiento".

• La Analogía del Videojuego: Imagina que KARL es un personaje de videojuego que ha jugado miles de veces contra el mismo nivel difícil. Al principio, choca contra las paredes y pierde. Pero cada vez que pierde, el juego le dice: "Esa no fue la ruta correcta". Al hacerlo millones de veces, KARL aprende el camino perfecto, cómo saltar los obstáculos y cuándo detenerse.
• Entrenamiento: En lugar de solo leer libros, KARL ha practicado resolviendo miles de casos difíciles (como buscar un nombre en una lista de 1000 personas, o sumar números de facturas antiguas). Ha aprendido a no solo buscar, sino a pensar sobre lo que encuentra.

3. El Entrenamiento: La "Fábrica de Casos" (Síntesis Agente)

Para entrenar a KARL, Databricks no usó solo preguntas de exámenes antiguos. Crearon una fábrica de problemas nuevos.

• La Analogía del Gimnasio: Imagina que quieres entrenar a un atleta para correr maratones. No le das solo un mapa de la ciudad; le creas un circuito de obstáculos cada vez más difícil.
• Cómo lo hicieron: Usaron una IA más pequeña para crear preguntas difíciles y buscar las respuestas en documentos reales. Luego, otra IA intentaba resolverlas. Si fallaba, se descartaba la pregunta. Si acertaba, se guardaba. Así, KARL se entrenó con preguntas que eran justo un poco más difíciles de lo que podía resolver, lo que lo obligó a mejorar constantemente.

4. La Magia: "Pensamiento en Paralelo" (Test-Time Compute)

Esta es la parte más genial. Cuando KARL tiene una pregunta muy difícil, no solo piensa una vez.

• La Analogía del Consejo de Sabios: Imagina que tienes un problema complejo. En lugar de que una sola persona piense la solución, KARL convoca a 10 clones de sí mismo.
  • Cada uno toma un camino diferente para buscar la respuesta.
  • Uno busca en la biblioteca de historia, otro en la de ciencia, otro en la de arte.
  • Al final, todos se reúnen y un "jefe" (un agente agregador) compara las 10 respuestas, toma las mejores partes de cada una y crea la respuesta definitiva.
• Resultado: Esto hace que KARL sea increíblemente preciso, incluso si la pregunta es muy rara o difícil.

5. El Resultado: Más Rápido, Más Barato y Mejor

El papel muestra que KARL es como un coche de carreras que gasta menos gasolina que los otros.

• Eficiencia: Mientras que otros modelos (como los de Google o Anthropic) tardan mucho tiempo y cuestan mucho dinero por consulta, KARL llega a la misma (o mejor) calidad de respuesta gastando menos recursos.
• Versatilidad: KARL no es bueno solo en un tipo de tarea. Es bueno en todo: desde buscar un nombre en una lista hasta escribir informes médicos complejos o analizar tablas de finanzas.

En Resumen

KARL es un agente de IA que ha aprendido a investigar como un experto humano, no solo leyendo, sino practicando en un entorno de entrenamiento riguroso.

• Aprendió a no perderse: Sabe cuándo buscar más y cuándo detenerse.
• Aprendió a no rendirse: Persiste hasta encontrar la respuesta correcta.
• Aprendió a colaborar: Usa múltiples "versiones" de sí mismo para asegurar que la respuesta sea perfecta.

Es como pasar de tener un empleado que busca información y a veces se equivoca, a tener un equipo de detectives de élite que trabaja rápido, barato y nunca deja un caso sin resolver.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "KARL: Knowledge Agents via Reinforcement Learning" (Agentes de Conocimiento mediante Aprendizaje por Refuerzo), presentado por Databricks AI Research.

1. El Problema

El documento aborda la limitación actual de los agentes de IA en tareas de razonamiento fundamentado (grounded reasoning). A diferencia del razonamiento común o la codificación, el razonamiento fundamentado requiere que el agente acceda y razone sobre datos externos masivos y propietarios (como documentos financieros, notas internas de empresas o literatura médica) que no están en sus parámetros de entrenamiento.

Los desafíos principales identificados son:

• Falta de generalización: Los modelos optimizados para un tipo de búsqueda (ej. encontrar una entidad específica) a menudo fallan en otros (ej. síntesis de informes o razonamiento numérico en tablas).
• Escasez de datos de entrenamiento: Es difícil generar datos de entrenamiento diversos, difíciles y "anclados" a la evidencia real sin depender de herramientas web de caja negra o datos estáticos.
• Ineficiencia en la inferencia: Los modelos existentes tienden a realizar búsquedas exhaustivas pero ineficientes, gastando muchos tokens y tiempo en pasos redundantes o en no converger a una respuesta.
• Costo y Latencia: Las soluciones de vanguardia (como modelos cerrados de grandes empresas) son costosas y lentas, lo que dificulta su adopción a escala empresarial.

2. Metodología

KARL es un sistema diseñado para entrenar agentes de búsqueda mediante un enfoque integral que combina síntesis de datos, aprendizaje por refuerzo (RL) y escalado en tiempo de inferencia.

A. KARLBench: Suite de Evaluación Multi-Capacidad

Para medir el progreso, los autores crearon KARLBench, un conjunto de evaluación que abarca seis regímenes de búsqueda distintos:

1. Búsqueda de entidades impulsada por restricciones.
2. Síntesis de informes cruzando múltiples documentos.
3. Razonamiento numérico sobre datos tabulares financieros.
4. Recuperación exhaustiva de entidades en textos enciclopédicos.
5. Razonamiento procedimental sobre documentación técnica.
6. Agregación de hechos sobre notas internas de empresas (PMBench).

B. Síntesis Agente (Agentic Synthesis)

Para superar la escasez de datos, desarrollaron una tubería de síntesis automatizada:

• Generación de Datos: Un agente explora el corpus mediante búsqueda vectorial para crear pares pregunta-respuesta anclados en evidencia recuperada.
• Filtrado de Calidad: Se utiliza un agente "Solucionador" para generar múltiples intentos de respuesta. Se filtran las preguntas demasiado fáciles (todos los intentos correctos) o imposibles (todos incorrectos).
• Deduplicación y Validación: Un agente de calidad elimina duplicados y verifica la precisión de los hechos, asegurando que los datos de entrenamiento sean desafiantes y correctos.
• Bootstrap Iterativo: A medida que el agente mejora, se utiliza para sintetizar datos de mayor calidad para iteraciones futuras.

C. Entrenamiento mediante RL Off-Policy (OAPL)

En lugar del RL en línea tradicional (como GRPO), proponen OAPL (Optimal Advantage-based Policy Optimization with Lagged Inference):

• RL Off-Policy de Lotes Grandes: Utilizan datos generados por una política de referencia ($\pi_{ref}$) para entrenar la política actual. Esto es más eficiente en muestras y robusto frente a discrepancias entre el entorno de entrenamiento y el de inferencia.
• Entrenamiento Multi-Tarea: Combinan pérdidas de diferentes tareas (ej. BrowseComp-Plus y TREC-Biogen) simultáneamente. Esto fomenta la generalización fuera de distribución (OOD) en lugar de sobreajustarse a una sola tarea.
• Optimización End-to-End: Incluye la gestión del contexto (compresión) dentro del bucle de RL, permitiendo que el modelo aprenda cuándo y cómo resumir la información para maximizar la recompensa.

D. Escalado en Tiempo de Ejecución (Test-Time Compute - TTC)

Para mejorar el rendimiento sin reentrenar, aplican dos estrategias:

• Pensamiento Paralelo: Genera múltiples trayectorias de razonamiento en paralelo y las agrega mediante un agente que sintetiza la mejor respuesta, superando a la votación por mayoría simple.
• Búsqueda Guiada por Valor (VGS): Entrena un modelo de valor pequeño para predecir la probabilidad de éxito en cada paso, guiando una búsqueda en árbol para seleccionar las ramas más prometedoras.

3. Contribuciones Clave

1. KARLBench: La primera suite de evaluación unificada que mide capacidades de agentes de conocimiento en seis regímenes de búsqueda heterogéneos, incluyendo un benchmark interno (PMBench) para entornos empresariales reales.
2. Pipeline de Síntesis Agente: Un método escalable para generar datos de entrenamiento difíciles y fundamentados, utilizando el propio agente para crear y filtrar sus datos de entrenamiento de forma iterativa.
3. Paradigma OAPL: Un nuevo enfoque de post-entrenamiento basado en RL off-policy de lotes grandes que es eficiente en muestras, estable para modelos MoE (Mixture of Experts) y elimina la necesidad de heurísticas complejas para estabilizar el entrenamiento.
4. Generalización Multi-Tarea: Demostración de que entrenar en comportamientos de búsqueda heterogéneos produce agentes que generalizan significativamente mejor a tareas no vistas durante el entrenamiento, superando a enfoques de destilación de expertos.

4. Resultados

Los experimentos comparan a KARL (basado en GLM 4.5 Air) con modelos propietarios de vanguardia como Claude 4.6 (Opus/Sonnet) y GPT 5.2.

• Rendimiento Superior: KARL alcanza un rendimiento de vanguardia en KARLBench. Sin cómputo en tiempo de ejecución, iguala a Claude Sonnet 4.5. Con 10 trazas de pensamiento paralelo, iguala o supera a Claude Opus 4.6.
• Eficiencia de Costos y Latencia:
  • KARL es Pareto-óptimo: Ofrece la mejor calidad por el menor costo y la menor latencia.
  • Logra una calidad comparable a Claude Opus 4.6 con un 33% menos de costo por consulta.
  • Es significativamente más rápido (menor latencia) que los modelos cerrados, incluso con el escalado de cómputo en tiempo de ejecución.
• Generalización: El modelo entrenado en múltiples tareas muestra una mejora consistente en tareas fuera de distribución (OOD), mientras que los modelos entrenados en una sola tarea o mediante destilación SFT no generalizan tan bien.
• Comportamiento del Agente: El análisis cualitativo muestra que KARL aprende estrategias de búsqueda más eficientes:
  • Reduce la longitud de las trayectorias (menos pasos innecesarios).
  • Aumenta la diversidad de documentos recuperados.
  • Aprende a "rendirse" o comprometerse con una respuesta cuando la evidencia es suficiente, evitando bucles de verificación infinitos.

5. Significado e Impacto

El trabajo de Databricks demuestra que es posible construir agentes de conocimiento empresariales de alto rendimiento y bajo costo mediante la combinación de:

1. Datos sintéticos personalizados generados por agentes.
2. Aprendizaje por refuerzo multi-tarea que fomenta la generalización en lugar de la especialización estrecha.
3. Escalado de cómputo en tiempo de ejecución que actúa como un multiplicador de fuerza.

Esto sugiere un cambio de paradigma: en lugar de depender exclusivamente de modelos base masivos y costosos, las organizaciones pueden desarrollar agentes especializados y eficientes mediante RL y síntesis de datos, logrando capacidades de razonamiento fundamentado que superan a los modelos cerrados más avanzados en tareas complejas de búsqueda y análisis de datos internos. Además, la metodología OAPL ofrece una ruta viable para entrenar modelos a gran escala sin la complejidad de infraestructura del RL en línea.