Budget-Aware Routing for Long Clinical Text

1. Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) enfrentam desafios significativos de implantação em ambientes clínicos devido ao alto custo e à latência associados ao processamento de entradas longas, heterogêneas e redundantes (por exemplo, notas de alta, laudos de radiologia).

• A Restrição: Sistemas clínicos operam sob orçamentos de tokens ($B$) estritos para controlar custos monetários ($p_{in} \times B$) e latência de inferência.
• O Desafio: Os documentos de entrada frequentemente têm milhares de tokens de comprimento, enquanto as tarefas a jusante (como geração de resumos) são curtas e de alto risco.
• O Objetivo: Selecionar um subconjunto de unidades de documento sob um orçamento de tokens estrito, de modo que um gerador pronto para uso possa atender a restrições fixas de custo e latência, maximizando a utilidade a jusante (relevância, cobertura e diversidade).
• Formulação: Os autores enquadram isso como um problema de seleção de subconjunto com restrição de mochila, onde o objetivo é maximizar uma função de utilidade sujeita a um limite de custo de tokens.

2. Metodologia

O framework proposto trata a construção de contexto como um módulo explícito desacoplado do gerador. Consiste em quatro etapas:

A. Estratégias de Unitização

O sistema segmenta o documento longo $D$ em unidades selecionáveis ($u_1, \dots, u_n$) com custos de tokens associados ($c_i$). Quatro estratégias são avaliadas:

1. Unidade de Frase: Divide nas fronteiras de frases (máxima flexibilidade).
2. Unidade de Seção: Agrupa frases por cabeçalhos de seção (por exemplo, "Queixa Principal").
3. Unidade de Janela: Cria blocos sobrepostos baseados na densidade de conteúdo local.
4. Unidade de Cluster: Agrupa frases semanticamente relacionadas usando um grafo de similaridade.

B. Algoritmos de Seleção

O sistema emprega vários seletores para escolher o subconjunto ótimo $S$ dentro do orçamento $B$:

• Baselines:
  • Lead (Principal): Seleciona unidades do início do documento (explora a priorização inicial).
  • Shuffled (Embaralhado): Randomiza a ordem para medir viés posicional.
  • Sliding (Deslizante): Seleciona a sequência contígua com maior relevância.
  • Hierarchical (Hierárquico): Adiciona contexto ao redor de âncoras de alta relevância.
  • GraphCluster (Cluster de Grafo): Seleciona representantes de clusters semânticos.
• Consciente de Diversidade:
  • MMR (Relevância Marginal Máxima): Equilibra iterativamente a relevância contra a redundância usando um kernel de similaridade.
  • RCD (Relevância-Cobertura-Diversidade): Um objetivo submodular monotônico novel definido como:
    $$F(S) = \alpha R(S) + \beta C(S) + \gamma D(S)$$
    Onde $R$ é a relevância para a consulta, $C$ é a cobertura de localização de instalações (representando todo o documento) e $D$ é a diversidade de log-determinante. Isso permite garantias de aproximação sob restrições de mochila via seleção gulosa preguiçosa.

C. Roteamento Consciente de Orçamento

Os autores propõem uma heurística leve que seleciona dinamicamente o melhor algoritmo com base no regime de orçamento ($B$) e nas estatísticas do documento:

• Orçamento Baixo ($B \le B_1$): Usa Lead (heurísticas posicionais funcionam bem quando o conteúdo é priorizado no início e os orçamentos são apertados).
• Orçamento Moderado ($B_1 < B \le B_2$): Usa MMR (a redundância torna-se o fator limitante; é necessária diversidade).
• Orçamento Alto ($B > B_2$): Usa RCD (a cobertura torna-se a prioridade para representar tópicos diversos).
• Métricas para Roteamento: Usa um índice de priorização inicial ($\phi$) e um índice de redundância ($\rho$) para informar decisões.

3. Contribuições Principais

1. Formalização: Definiu a construção de contexto orçada como um problema de otimização com restrição de mochila com etapas explícitas de unitização e seleção.
2. Objetivo RCD: Introduziu uma função objetivo submodular que equilibra explicitamente relevância, cobertura e diversidade.
3. Suíte Unificada de Seletores: Implementou e comparou uma família abrangente de seletores (Lead, MMR, RCD, etc.) através de múltiplas estratégias de unitização.
4. Heurística de Roteamento: Desenvolveu um roteador consciente de orçamento que adapta a estratégia de seleção ao orçamento de tokens, alcançando desempenho próximo ao oráculo.
5. Avaliação Abrangente: Conduziu experimentos em três conjuntos de dados distintos:
   • MIMIC-IV: Notas de alta clínica.
   • Cochrane: Resumos científicos.
   • L-Eval: Benchmarks de documentos longos.
   • PubMedQA: Tarefa de classificação (para testar generalização além do resumo).

4. Resultados Principais

A. Dependência do Paradigma de Avaliação

A estratégia ótima depende fortemente de se a tarefa é exrativa (selecionar texto para corresponder a uma referência) ou generativa (resumo por LLM):

• Tarefas Extrativas: Lead (posicional) domina em orçamentos baixos porque as notas clínicas priorizam informações críticas no início, e o ROUGE recompensa a sobreposição lexical.
• Tarefas Generativas (LLM): MMR e RCD consistentemente superam o Lead. LLMs beneficiam-se de entradas não redundantes; remover boilerplate repetitivo permite que o modelo se concentre em conceitos salientes, mesmo que as palavras exatas difiram da referência.

B. Sensibilidade à Métrica

• ROUGE: Satura rapidamente para resumos de LLM (pontuações estabilizam em torno de 0,27–0,28) porque LLMs parafraseiam em vez de copiar, reduzindo a sobreposição lexical.
• BERTScore: Diferencia melhor a qualidade do método. Captura similaridade semântica, mostrando que métodos conscientes de diversidade (MMR) produzem resumos semanticamente mais apropriados do que métodos posicionais, mesmo quando as pontuações de ROUGE são similares.

C. Unitização vs. Seleção

• Escolha do Seletor > Unitização: A escolha do algoritmo de seleção (por exemplo, MMR vs. Lead) importa significativamente mais do que a estratégia de unitização (Frase vs. Seção).
• Falha da Unidade de Cluster: O agrupamento baseado em clusters reduziu o desempenho, provavelmente porque criou unidades muito grandes para seleção granular ou interrompeu a narrativa temporal das notas clínicas.

D. Desempenho de Roteamento

• A heurística de roteamento proposta rastreia de perto o limite superior oráculo (o melhor método possível para uma instância específica).
• Em 512 tokens (aproximadamente 25% do comprimento mediano do documento), a seleção orçada com MMR igualou ou superou o desempenho do processamento do contexto completo com GPT-4o, demonstrando economias de custo significativas sem perda de qualidade.
• Generalização: No PubMedQA (onde a informação não é priorizada no início), o Lead teve o pior desempenho, e RCD/MMR se destacaram, provando que o framework se adapta a documentos não priorizados no início.

5. Significado e Implicações

• Eficiência de Custos: O estudo prova que a seleção principista pode reduzir o uso de tokens em ~75% (por exemplo, 512 vs. 2000+ tokens) enquanto mantém ou melhora a qualidade de geração, oferecendo economias econômicas substanciais para implantações em escala hospitalar.
• Design de Sistema: Desloca o paradigma de "modelos de contexto longo" para "construção de contexto consciente de orçamento", sugerindo que o gargalo é frequentemente a construção de entrada e não o tamanho da janela de contexto do modelo.
• Diretrizes Práticas:
  • Use heurísticas posicionais (Lead) para orçamentos apertados em tarefas extrativas.
  • Use métodos conscientes de diversidade (MMR/RCD) para tarefas generativas para filtrar redundância.
  • Use métricas de similaridade semântica (BERTScore) em vez de apenas ROUGE para avaliar resumos de LLM.
• Considerações Éticas: Os autores destacam que o orçamento é um processo "perdido" (lossy). Eles defendem o rastreamento de proveniência (vincular afirmações geradas a frases de origem) e a escalada dinâmica de orçamento para casos clínicos de alto risco para garantir segurança.

Em conclusão, o artigo fornece uma abordagem rigorosa, em nível de sistema, para gerenciar custos de LLM em ambientes clínicos, demonstrando que o roteamento adaptativo baseado em restrições de orçamento pode otimizar significativamente o desempenho através de diversos tipos de documentos e objetivos de tarefa.