Budget-Aware Routing for Long Clinical Text

1. Enunciado del Problema

Los Modelos de Lenguaje Grandes (LLM) enfrentan desafíos significativos de implementación en entornos clínicos debido al alto costo y la latencia asociados con el procesamiento de entradas largas, heterogéneas y redundantes (por ejemplo, notas de alta, informes de radiología).

• La Restricción: Los sistemas clínicos operan bajo presupuestos de tokens ($B$) estrictos para controlar los costos monetarios ($p_{in} \times B$) y la latencia de inferencia.
• El Desafío: Los documentos de entrada suelen tener miles de tokens de longitud, mientras que las tareas aguas abajo (como la generación de resúmenes) son cortas y de alto riesgo.
• El Objetivo: Seleccionar un subconjunto de unidades del documento bajo un presupuesto de tokens estricto para que un generador estándar pueda cumplir con restricciones fijas de costo y latencia mientras maximiza la utilidad aguas abajo (relevancia, cobertura y diversidad).
• Formulación: Los autores plantean esto como un problema de selección de subconjuntos con restricción de mochila, donde el objetivo es maximizar una función de utilidad sujeta a un límite de costo en tokens.

2. Metodología

El marco propuesto trata la construcción de contexto como un módulo explícito desacoplado del generador. Consiste en cuatro etapas:

A. Estrategias de Unitización

El sistema segmenta el documento largo $D$ en unidades seleccionables ($u_1, \dots, u_n$) con costos de tokens asociados ($c_i$). Se evalúan cuatro estrategias:

1. Unidad de Oración: Divide en límites de oraciones (máxima flexibilidad).
2. Unidad de Sección: Agrupa oraciones por encabezados de sección (por ejemplo, "Motivo de Consulta").
3. Unidad de Ventana: Crea fragmentos superpuestos basados en la densidad de contenido local.
4. Unidad de Agrupamiento: Agrupa oraciones semánticamente relacionadas utilizando un gráfico de similitud.

B. Algoritmos de Selección

El sistema emplea diversos selectores para elegir el subconjunto óptimo $S$ dentro del presupuesto $B$:

• Líneas Base:
  • Lead (Principal): Selecciona unidades desde el inicio del documento (aprovecha la carga frontal).
  • Mezclado: Aleatoriza el orden para medir el sesgo posicional.
  • Deslizante: Selecciona la secuencia contigua con mayor relevancia.
  • Jerárquico: Añade contexto alrededor de anclajes de alta relevancia.
  • Agrupamiento por Gráfico: Selecciona representantes de agrupaciones semánticas.
• Conscientes de la Diversidad:
  • MMR (Relevancia Marginal Máxima): Equilibra iterativamente la relevancia frente a la redundancia utilizando un kernel de similitud.
  • RCD (Relevancia-Cobertura-Diversidad): Un objetivo submodular monótono novedoso definido como:
    $$F(S) = \alpha R(S) + \beta C(S) + \gamma D(S)$$
    Donde $R$ es la relevancia para la consulta, $C$ es la cobertura de ubicación de instalaciones (representando todo el documento) y $D$ es la diversidad del log-determinante. Esto permite garantías de aproximación bajo restricciones de mochila mediante selección codiciosa perezosa.

C. Enrutamiento Consciente del Presupuesto

Los autores proponen una heurística ligera que selecciona dinámicamente el mejor algoritmo según el régimen de presupuesto ($B$) y las estadísticas del documento:

• Presupuesto Bajo ($B \le B_1$): Usa Lead (las heurísticas posicionales funcionan bien cuando el contenido está cargado al frente y los presupuestos son ajustados).
• Presupuesto Moderado ($B_1 < B \le B_2$): Usa MMR (la redundancia se convierte en el factor limitante; se necesita diversidad).
• Presupuesto Alto ($B > B_2$): Usa RCD (la cobertura se convierte en la prioridad para representar temas diversos).
• Métricas para el Enrutamiento: Utiliza un índice de carga frontal ($\phi$) y un índice de redundancia ($\rho$) para informar las decisiones.

3. Contribuciones Clave

1. Formalización: Definieron la construcción de contexto presupuestada como un problema de optimización con restricción de mochila con etapas explícitas de unitización y selección.
2. Objetivo RCD: Introdujeron una función objetivo submodular que equilibra explícitamente la relevancia, la cobertura y la diversidad.
3. Suite Unificada de Selectores: Implementaron y compararon una familia comprehensiva de selectores (Lead, MMR, RCD, etc.) a través de múltiples estrategias de unitización.
4. Heurística de Enrutamiento: Desarrollaron un enrutador consciente del presupuesto que adapta la estrategia de selección al presupuesto de tokens, logrando un rendimiento cercano al óptimo.
5. Evaluación Comprehensiva: Realizaron experimentos en tres conjuntos de datos distintos:
   • MIMIC-IV: Notas de alta clínica.
   • Cochrane: Resúmenes científicos.
   • L-Eval: Puntos de referencia de documentos largos.
   • PubMedQA: Tarea de clasificación (para probar la generalización más allá del resumen).

4. Resultados Clave

A. Dependencia del Paradigma de Evaluación

La estrategia óptima depende en gran medida de si la tarea es extractiva (seleccionar texto para coincidir con una referencia) o generativa (resumen por LLM):

• Tareas Extractivas: Lead (posicional) domina en presupuestos bajos porque las notas clínicas cargan información crítica al frente, y ROUGE recompensa la superposición léxica.
• Tareas Generativas (LLM): MMR y RCD superan consistentemente a Lead. Los LLM se benefician de una entrada no redundante; eliminar el texto repetitivo de relleno permite que el modelo se centre en conceptos salientes, incluso si las palabras exactas difieren de la referencia.

B. Sensibilidad de las Métricas

• ROUGE: Se satura rápidamente para resúmenes de LLM (las puntuaciones se estabilizan alrededor de 0.27–0.28) porque los LLM parafrasean en lugar de copiar, reduciendo la superposición léxica.
• BERTScore: Diferencia mejor la calidad del método. Captura la similitud semántica, mostrando que los métodos conscientes de la diversidad (MMR) producen resúmenes semánticamente más apropiados que los métodos posicionales, incluso cuando las puntuaciones de ROUGE son similares.

C. Unitización vs. Selección

• Elección del Selector > Unitización: La elección del algoritmo de selección (por ejemplo, MMR vs. Lead) importa significativamente más que la estrategia de unitización (Oración vs. Sección).
• Fallo de la Unidad de Agrupamiento: La agrupación basada en clústeres redujo el rendimiento, probablemente porque creó unidades demasiado grandes para una selección detallada o interrumpió la narrativa temporal de las notas clínicas.

D. Rendimiento del Enrutamiento

• La heurística de enrutamiento propuesta sigue de cerca el límite superior óptimo (el mejor método posible para una instancia específica).
• A 512 tokens (aprox. 25% de la longitud mediana del documento), la selección presupuestada con MMR igualó o superó el rendimiento del procesamiento del contexto completo con GPT-4o, demostrando ahorros de costos significativos sin pérdida de calidad.
• Generalización: En PubMedQA (donde la información no está cargada al frente), Lead tuvo el peor rendimiento, y RCD/MMR sobresalieron, demostrando que el marco se adapta a documentos no cargados al frente.

5. Significado e Implicaciones

• Eficiencia de Costos: El estudio demuestra que una selección principista puede reducir el uso de tokens en ~75% (por ejemplo, 512 vs. 2000+ tokens) manteniendo o mejorando la calidad de generación, ofreciendo ahorros económicos sustanciales para implementaciones a escala hospitalaria.
• Diseño del Sistema: Cambia el paradigma de "modelos de contexto largo" a "construcción de contexto consciente del presupuesto", sugiriendo que el cuello de botella a menudo es la construcción de la entrada y no el tamaño de la ventana de contexto del modelo.
• Directrices Prácticas:
  • Use heurísticas posicionales (Lead) para presupuestos ajustados en tareas extractivas.
  • Use métodos conscientes de la diversidad (MMR/RCD) para tareas generativas para filtrar redundancia.
  • Use métricas de similitud semántica (BERTScore) en lugar de solo ROUGE para evaluar resúmenes de LLM.
• Consideraciones Éticas: Los autores destacan que la presupuestación es un proceso "con pérdida". Abogan por el seguimiento de la procedencia (vincular afirmaciones generadas a oraciones fuente) y la escalada dinámica del presupuesto para casos clínicos de alto riesgo para garantizar la seguridad.

En conclusión, el artículo proporciona un enfoque riguroso a nivel de sistema para gestionar los costos de los LLM en entornos clínicos, demostrando que el enrutamiento adaptativo basado en restricciones de presupuesto puede optimizar significativamente el rendimiento a través de diversos tipos de documentos y objetivos de tarea.