Adaptive Chunking: Optimizing Chunking-Method Selection for RAG

1. El Problema

La efectividad de los sistemas de Generación Aumentada por Recuperación (RAG) depende críticamente de cómo se segmentan los documentos en "trozos" (chunks) para su indexación y recuperación.

• Limitación actual: La mayoría de los enfoques utilizan una estrategia de "talla única" (one-size-fits-all), como divisores recursivos estándar o basados en páginas. Estos métodos a menudo rompen enlaces contextuales, fragmentan bloques lógicos (como tablas o párrafos) y mezclan temas no relacionados, lo que degrada la calidad de la recuperación.
• Vacío de evaluación: Existe una carencia de métricas intrínsecas dedicadas para evaluar la calidad de la segmentación de forma independiente al rendimiento del modelo generador. La mayoría de los estudios dependen de métricas extrínsecas (como Recall@K o nDCG), lo que dificulta aislar el impacto real de la estrategia de chunking.
• Dilema: No existe un método único que sea óptimo para todos los tipos de documentos (legales, técnicos, sociales), ya que cada uno tiene estructuras y semánticas diferentes.

2. Metodología

Los autores proponen Adaptive Chunking, un marco que selecciona dinámicamente la mejor estrategia de segmentación para cada documento individual basándose en un conjunto de métricas intrínsecas.

A. Pipeline de Pre-procesamiento

• Se utiliza Microsoft Azure AI Document Intelligence para convertir documentos PDF a Markdown, preservando la estructura (tablas, encabezados, pies de página).
• Se implementan mejoras personalizadas: división de tablas grandes, agrupación de encabezados/pies de página y preservación de bloques inseparables.

B. Nuevas Técnicas de Chunking

El marco introduce dos nuevos métodos de segmentación:

1. Divisor Regex Guiado por LLM: Un modelo de lenguaje (LLM) analiza una muestra del documento y genera un patrón de expresión regular (regex) óptimo para dividir el texto completo respetando los límites naturales (ej. delimitadores de artículos legales).
2. Divisor Recursivo "Dividir- luego- Fusionar" (Split-then-Merge): Una variante del divisor recursivo estándar que opera en dos pasos:
   • Paso 1: Divide recursivamente el texto hasta que los segmentos sean ≤ tamaño objetivo.
   • Paso 2: Fusiona segmentos adyacentes de manera voraz sin exceder el tamaño, retrocediendo si es necesario para mantener superposiciones (overlaps) y re-dividir partes demasiado grandes.

C. Post-procesamiento

Se aplican dos pasos de regularización a todos los métodos:

• División de chunks sobredimensionados: Re-dividir cualquier chunk que exceda el límite máximo (1,100 tokens).
• Fusión de chunks diminutos: Unir fragmentos pequeños (<100 tokens) con sus vecinos para evitar pérdida de contexto, siempre que no se exceda el límite superior.

D. Métricas Intrínsecas (Las 5 Clave)

Para guiar la selección, se proponen cinco métricas que evalúan la calidad del chunking a nivel de documento:

1. Completitud de Referencias (RC): Mide si los pares entidad-pronombre se mantienen dentro del mismo chunk (evita referencias rotas).
2. Cohesión Intrachunk (ICC): Evalúa la consistencia semántica dentro de un chunk comparando las incrustaciones de las oraciones con la del chunk completo.
3. Coherencia Contextual del Documento (DCC): Evalúa qué tan bien un chunk se alinea con su contexto local inmediato (ventana deslizante de 3,000 tokens).
4. Integridad de Bloques (BI): Verifica si unidades estructurales (párrafos, tablas, títulos) permanecen intactas y no se cortan.
5. Cumplimiento de Tamaño (SC): Porcentaje de chunks que se ajustan a los límites de tokens definidos (100-1,100).

E. Estrategia de Selección Adaptativa

El sistema calcula las cinco métricas para cada método candidato en un documento y selecciona el que obtiene la mejor puntuación media ponderada. Esto permite que un documento legal se segmente por páginas (si mantiene la integridad de bloques) mientras que un texto narrativo largo se segmente recursivamente.

3. Contribuciones Clave

1. Marco de Selección Adaptativa: Un enfoque que abandona la estrategia única para seleccionar el mejor chunker por documento.
2. Suite de Métricas Intrínsecas: Las cinco métricas propuestas (RC, ICC, DCC, BI, SC) permiten evaluar la calidad del chunking sin depender de la generación de respuestas.
3. Nuevos Algoritmos: Implementación de un divisor regex guiado por LLM y un divisor recursivo de dos pasos con fusión.
4. Evidencia Empírica: Demostración de que la segmentación consciente del documento mejora el RAG sin necesidad de cambiar los modelos de lenguaje o los prompts.

4. Resultados

Los experimentos se realizaron en un corpus diverso de 33 documentos (legal, técnico, ciencias sociales) comparando la estrategia adaptativa contra baselines como LangChain Recursive Splitter y Chunking por páginas.

• Rendimiento en Recuperación (Retrieval Completeness): La estrategia adaptativa alcanzó un 67.68%, superando significativamente al divisor recursivo de LangChain (58.08%) y al chunking por páginas (59.09%).
• Precisión de Respuestas (Answer Correctness): La precisión de las respuestas generadas aumentó al 78.01% con el método adaptativo, frente al 70.11% del baseline de LangChain.
• Tasa de Respuestas Exitosas: El sistema adaptativo respondió correctamente 65 de 99 preguntas, un aumento del 32.7% (65 vs 49) en comparación con los métodos estáticos. Esto indica que el modelo se abstiene menos de responder debido a una mejor recuperación de contexto.
• Análisis de Métricas: Se observó que no hay un "mejor método" universal; el método adaptativo seleccionó el chunker por páginas para el 48% de los documentos y el recursivo para el 42%, demostrando la heterogeneidad del corpus.

5. Significado e Implicaciones

• Validación de la Heterogeneidad: El estudio confirma que la estructura del documento dicta la estrategia de segmentación óptima. Una sola estrategia no puede manejar eficientemente documentos legales (estructurados) y textos narrativos (continuos) simultáneamente.
• Eficiencia sin Coste de Modelo: Se logra una mejora sustancial en el rendimiento del RAG (más del 30% en preguntas respondidas) sin reentrenar modelos ni modificar los prompts, solo optimizando la ingesta de datos.
• Guía Práctica: El trabajo sugiere que para construir sistemas RAG robustos es crucial:
  1. Preferir la selección consciente del documento sobre valores predeterminados globales.
  2. Regularizar siempre los tamaños de los chunks (fusionar pequeños, dividir grandes).
  3. Utilizar un enfoque multimétrico para equilibrar la cohesión interna con la integridad estructural y el contexto.

En conclusión, Adaptive Chunking ofrece una vía práctica y efectiva para superar las limitaciones de los enfoques actuales, demostrando que una segmentación de documentos inteligente y basada en métricas intrínsecas es fundamental para el éxito de los sistemas RAG.