🤖 AI

ScalableRAG: High-Quality RAG at Zero Ingestion Cost

El artículo presenta ScalableRAG, un enfoque de Generación Aumentada por Recuperación de alta calidad que logra una precisión superior en múltiples conjuntos de datos con costos de ingestión de cero al utilizar un espacio de trabajo dinámico para el razonamiento de agregación sobre la marcha, ofreciendo además una variante de Ingestión Limitada que mejora aún más el rendimiento a escala con un uso mínimo de la base de datos vectorial.

Autores originales: Hilaf Hasson, Aditya Chakravarty, Jayant Thomas, Krishna Gogineni

Publicado 2026-07-29

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Hilaf Hasson, Aditya Chakravarty, Jayant Thomas, Krishna Gogineni

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de resolver un misterio masivo leyendo una biblioteca de un millón de libros. En el mundo de la inteligencia artificial, esto se llama Generación Aumentada por Recuperación (RAG). Piensa en una IA estándar como un detective brillante que ha leído todo internet pero que no puede recordar detalles específicos de un archivo polvoriento. Para ayudar al detective, solemos construir un "catálogo de fichas" o un "grafo de conocimiento" antes de que comience a trabajar. Esto implica leer cada uno de los libros, resumirlos y organizarlos en una base de datos compleja para que la IA pueda encontrar la página adecuada rápidamente. Es como contratar a un equipo de bibliotecarios para que pasen semanas indexando la biblioteca antes de que el detective siquiera llegue. Este proceso es costoso, lento y requiere mucha potencia de cálculo solo para empezar. Pero, ¿qué pasaría si el detective pudiera entrar en la biblioteca, mirar los libros y resolver las dudas sobre la marcha sin necesidad de un catálogo preestablecido? Esa es la gran pregunta que aborda este artículo: ¿Podemos obtener los mismos resultados brillantes sin pagar el alto costo de "ingestión" de construir primero esa enorme base de datos?

Los investigadores de Cohesity, liderados por Hilaf Hasson y su equipo, dicen que la respuesta es un rotundo "sí". Presentan un nuevo sistema llamado ScalableRAG, que viene en dos variantes: Zero-Ingestion (Ingestión Cero) y Limited-Ingestion (Ingestión Limitada). Su principal descubrimiento es que no es necesario preprocesar toda la biblioteca para responder preguntas complejas. En su lugar, su agente de IA actúa como un detective súper organizado que lleva una tabla portapapeles mágica y expandible. Cuando el detective necesita encontrar un dato específico, no se limita a buscar una palabra clave; crea un "grupo" temporal de documentos relevantes, los filtra e incluso realiza cálculos matemáticos con los resultados allí mismo, en el momento.

Así es como funciona su método de "Zero-Ingestion", utilizando una metáfora sencilla: Imagina que tienes una pila de recibos mezclados de un año de compras. Un sistema tradicional requeriría que alguien se sentara, leyera cada recibo y los clasificara en carpetas etiquetadas (Comestibles, Gasolina, Electrónica) antes de que tú hagas una pregunta como: "¿Cuánto gasté en gasolina en junio?". Esta clasificación toma una eternidad. ScalableRAG, sin embargo, se salta la clasificación por completo. Cuando haces la pregunta, la IA mira la pila, encuentra todos los recibos que mencionan "gasolina", luego filtra esa pila más pequeña para encontrar solo los de "junio" y finalmente suma los números. Lo hace creando y gestionando "conjuntos" de documentos sobre la marcha. Es como tener un detective que puede dibujar instantáneamente un círculo alrededor de los recibos relevantes, contarlos y hacer la matemática, todo sin necesidad de haberlos archivado primero.

El artículo demuestra que este enfoque "sobre la marcha" es increíblemente poderoso. En pruebas realizadas en seis colecciones diferentes de documentos (que van desde transcripciones de audiencias gubernamentales hasta informes financieros y guiones de películas), su sistema Zero-Ingestion superó con creces a todos los modelos de referencia (incluyendo los enfoques de grafos de conocimiento) en tres de los seis conjuntos de datos (MuSiQue, Transcripts y Hotels). En los otros tres conjuntos de datos (2Wiki, FinanceBench y ComplexTR), solo perdió por un margen mínimo en cuanto al rendimiento máximo, quedando por debajo de un promedio de apenas un 1.63% respecto al mejor modelo de referencia para cada uno (que fue A-RAG). A pesar de estas estrechas pérdidas en la mitad de los conjuntos de datos, el sistema logró una precisión promedio en los seis conjuntos de datos que fue aproximadamente un 7.36% superior al siguiente modelo de referencia más competitivo. Esto es importante porque sugiere que, para muchos tipos de preguntas, el costoso paso de preconstruir una base de datos es en realidad innecesario.

Para hacer el sistema aún mejor para preguntas más complicadas, también construyeron una versión de "Limited-Ingestion". Esto es como darle al detective un índice pequeño y prefabricado para los tipos de pistas más comunes, pero permitiéndole seguir haciendo el trabajo pesado sobre la marcha. Esta versión utiliza un poco de preprocesamiento (solo una muestra de los documentos para encontrar patrones) y una pequeña base de datos vectorial (una herramienta que ayuda a encontrar ideas similares, no solo palabras exactas). Este enfoque híbrido elevó la precisión aún más, especialmente en conjuntos de datos donde la información estaba oculta en estructuras complejas, como encontrar una instalación específica en la descripción de un hotel o una cláusula específica en un contrato legal.

El artículo argumenta explícitamente en contra de la idea de que debes construir un grafo de conocimiento masivo y preprocesado o una base de datos SQL completa para responder preguntas complejas y de múltiples pasos. Demuestran que los métodos "pesados en la ingestión", que requieren que un LLM lea cada documento y extraiga datos antes de que el usuario pregunte algo, suelen ser excesivos. Aunque esos métodos son buenos agrupando datos, ScalableRAG demuestra que un agente puede realizar ese mismo agrupamiento y matemáticas de forma instantánea durante la conversación. Los autores están muy seguros de estos resultados, habiéndolos medido en diversos conjuntos de datos mediante un método de prueba riguroso donde una IA separada actúa como juez para calificar las respuestas. Encontraron que su sistema no solo ahorra dinero y tiempo, sino que a menudo obtiene la respuesta correcta con más frecuencia que las alternativas costosas, o se queda muy cerca con mucho menos esfuerzo.

En resumen, ScalableRAG cambia las reglas del juego al demostrar que no necesitas construir un almacén gigante de conocimiento organizado para encontrar la aguja en el pajar. En su lugar, puedes enviar a un agente inteligente al pajar con un conjunto de herramientas mágicas para agarrar, clasificar y contar las agujas justo donde están. Ya sea que necesites un sistema que no cueste nada configurar (Zero-Ingestion) o uno que añada un poco de trabajo previo para una precisión extra (Limited-Ingestion), esta investigación sugiere que el futuro de la resolución de preguntas por IA podría ser mucho más simple, rápido y económico de lo que pensábamos.

Resumen Técnico: ScalableRAG

Declaración del Problema

Los avances recientes en la Generación Aumentada por Recuperación (RAG) se han centrado cada vez más en optimizar el rendimiento incurriendo en altos costos de ingesta. Estos métodos implican típicamente la construcción de estructuras de conocimiento complejas, como grafos de conocimiento (por ejemplo, GraphRAG, HippoRAG) o la extracción de tablas SQL estructuradas (por ejemplo, SRAG, AutoSchemaKG), lo que requiere al menos una llamada a un Modelo de Lenguaje Grande (LLM) por documento, a menudo significativamente más. Si bien estos enfoques permiten un razonamiento de agregación sofisticado (por ejemplo, agrupar por claves para calcular conteos o promedios), son computacionalmente costosos y difíciles de escalar. Por el contrario, los sistemas RAG de recuperación densa estándar suelen tener dificultades con preguntas de agregación porque carecen de un estado persistente o de un indexado estructurado.

Los autores postulan que muchas preguntas que requieren agregación dependen de una clave primaria que tiene una correspondencia uno a uno con un subconjunto del corpus de documentos. Argumentan que tales operaciones de agrupación pueden replicarse eficientemente en el tiempo de inferencia sin la necesidad de un preprocesamiento pesado o bases de datos vectoriales.

Metodología

El artículo presenta ScalableRAG, un marco de trabajo (framework) de RAG agéntico con estado, diseñado para lograr una recuperación y un razonamiento de alta calidad con costos de ingesta mínimos o nulos. El sistema opera a través de dos variantes:

1. Zero-Ingestion ScalableRAG (EscalableRAG de Ingesta Cero)

Esta variante no requiere ningún tipo de preprocesamiento —ni grafos de conocimiento, ni extracción de esquemas, ni embeddings vectoriales.

Espacio de Trabajo con Estado (Stateful Workspace): El agente mantiene un registro persistente de conjuntos de documentos ( $S$ $S$ ) y conjuntos de valores ( $V$ $V$ ).
- Conjuntos de Documentos: Subconjuntos nombrados del corpus (por ejemplo, has_Erik_pos) creados mediante operaciones de filtrado.
- Conjuntos de Valores: Mapeos de IDs de documentos a valores escalares extraídos (números, fechas) o listas de cadenas de texto.
Interacción Basada en Herramientas: El agente interactúa con el corpus utilizando un conjunto de herramientas deterministas:
- apply_filter: Aplica expresiones regulares (regex) para particionar un conjunto nombrado en subconjuntos positivos y negativos.
- search_filenames: Filtra documentos basados en patrones de nombres de archivo.
- set_operation: Realiza intersección, unión y diferencia en conjuntos nombrados.
- extract_field / extract_list: Extrae valores o listas de documentos hacia conjuntos de valores.
- aggregate: Calcula estadísticas (suma, promedio, conteo, mínimo, máximo) sobre conjuntos de valores.
- read_docs / find_in_doc: Lee secciones específicas de documentos o navega dentro de archivos grandes.
Retroalimentación Diagnóstica: Una innovación central es el enriquecimiento de las observaciones de las herramientas con diagnósticos calculados automáticamente. Cuando se aplica un filtro, el sistema proporciona:
- Descomposición de tokens: Qué palabras clave en la regex son demasiado estrictas o demasiado amplias.
- Brechas de selectividad: Alertas si el patrón combinado sobre-restringe el conjunto en comparación con las palabras clave individuales.
- Verificaciones de anclaje negativo: Identifica si los documentos excluidos aún contienen entidades clave de la pregunta, lo que incita al agente a refinar su regex.
Bucle de Razonamiento: El agente utiliza un bucle de tipo ReAct donde planifica acciones, ejecuta herramientas, observa resultados (incluyendo diagnósticos) e itera el refinamiento de sus conjuntos de documentos hasta que puede responder a la consulta.

2. Limited-Ingestion ScalableRAG (ScalableRAG de Ingesta Limitada)

Para mejorar aún más la precisión en conjuntos de datos con estructuras complejas, esta variante añade dos módulos de ingesta opcionales y de bajo costo:

Embeddings Vectoriales: Pre-calcula embeddings para grandes fragmentos de documentos para permitir la búsqueda de similitud de coseno (cosine_search). Esto sirve como un respaldo para la recuperación semántica cuando el emparejamiento léxico falla. También permite entrenar un clasificador ligero sobre una pequeña muestra de documentos etiquetados para clasificar el resto del corpus.
Descubrimiento Automático de Patrones: Un paso de preprocesamiento que analiza una muestra de documentos para descubrir patrones de extracción:
1. Regex Determinista: Escanea en busca de estructuras recurrentes de "Etiqueta: Valor".
2. Regex Generada por LLM: Utiliza un LLM para proponer patrones estructurales de múltiples líneas.
3. Patrones Semánticos: Identifica conceptos embebidos en prosa.
  Estos patrones son validados, puntuados por utilidad y expuestos al agente como una herramienta de pattern_search, permitiéndole aprovechar estructuras pre-descubiertas sin necesidad de un indexado completo del corpus.

Contribuciones Clave

Zero-Ingestion ScalableRAG: Un sistema RAG que logra un rendimiento de vanguardia sin costos de ingesta (sin base de datos vectorial, sin grafo de conocimiento). Utiliza la persistencia de conjuntos en el tiempo de inferencia y el razonamiento algebraico de conjuntos para manejar tareas de agregación.
Limited-Ingestion ScalableRAG: Una extensión que incorpora embeddings vectoriales mínimos y un proceso de descubrimiento de patrones basado en muestras de un solo uso para aumentar aún más la precisión en conjuntos de datos estructuralmente complejos, manteniendo un número constante de llamadas al LLM en relación con el tamaño del corpus.
Mecanismo de Retroalimentación Diagnóstica: La introducción de diagnósticos relativos automatizados (por ejemplo, verificaciones de alcance, brechas de selectividad) que guían la planificación del agente y el refinamiento de la regex, reduciendo significativamente la necesidad de ajuste manual o validación externa.

Resultados Experimentales

Los autores evaluaron ScalableRAG en seis corpus diversos: MuSiQue, 2WikiMultiHopQA, Transcripts (audiencias del Congreso de EE. UU.), FinanceBench, ComplexTR y Hotels.

Rendimiento:
- Zero-Ingestion ScalableRAG superó a todos los modelos de referencia (incluyendo métodos de ingesta pesada como HippoRAG2, SRAG, GraphRAG y AutoSchemaKG) en 3 de los 6 conjuntos de datos (MuSiQue, Transcripts, Hotels).
- En los tres restantes, se quedó a una diferencia promedio de solo 1.63% del rendimiento máximo.
- En todos los seis conjuntos de datos, la precisión promedio fue 7.36% mayor que la del siguiente modelo de referencia más competitivo.
- Notablemente, en el conjunto de datos Hotels (desafiante para el razonamiento de agregación), superó a SRAG en un 36.23% con ingesta cero.
Eficiencia:
- ScalableRAG utiliza un número de pasos por pregunta similar al de los modelos agénticos de referencia (por ejemplo, A-RAG), pero consume significativamente menos tokens durante la inferencia.
- La variante Limited-Ingestion proporcionó incrementos adicionales de precisión en conjuntos de datos con estructura rica (Hotels, Transcripts) donde el descubrimiento de patrones fue efectivo.

Significado y Reivindicaciones

El artículo afirma que ScalableRAG demuestra que los beneficios de la ingesta de conocimiento pesada (específicamente la capacidad de realizar razonamiento de agregación y agrupar por claves primarias) pueden replicarse con costos de ingesta cero o mínimos.

Eficiencia de Costos: Al evitar el "impuesto de ingesta" de una llamada al LLM por cada documento, ScalableRAG ofrece una alternativa escalable que es particularmente efectiva para corpus donde la clave primaria de interés corresponde a un subconjunto de documentos.
Razonamiento con Estado: El trabajo desafía el paradigma de la recuperación sin estado, demostrando que mantener un espacio de trabajo de conjuntos de documentos y valores permite un refinamiento iterativo y un razonamiento multi-paso complejo que la recuperación vectorial estándar no puede lograr.
Practicidad: El sistema alcanza una alta precisión sin la necesidad de bases de datos vectoriales pre-calculadas o inducción de esquemas complejos, lo que lo convierte en una solución viable para escenarios donde los recursos de preprocesamiento son limitados.

Los autores concluyen que, si bien los enfoques de grafos de conocimiento pueden seguir siendo superiores para preguntas que violan la hipótesis de correspondencia uno a uno, ScalableRAG proporciona un marco altamente competitivo y rentable para una amplia gama de tareas de respuesta a preguntas de agregación y multi-paso.