ScaleDoc: Scaling LLM-based Predicates over Large Document Collections

O \textsc{ScaleDoc} é um sistema inovador que otimiza a análise semântica de grandes coleções de documentos ao desacoplar a execução de predicados em uma fase offline de representação e uma fase online filtrada por um modelo proxy leve, reduzindo significativamente os custos e a latência de inferência de LLMs sem comprometer a precisão.

O essencial

Imagine que você tem uma biblioteca gigante com milhões de livros, artigos e relatórios (os "documentos"). Agora, imagine que você precisa encontrar apenas os textos que falem sobre um tema muito específico, como "medicamentos novos para ansiedade" ou "relatos de insatisfação com o serviço de um banco".

Fazer isso manualmente seria impossível. Usar palavras-chave simples (como apenas procurar a palavra "medicamento") não funciona bem, porque a linguagem humana é complexa e cheia de nuances.

Aqui entra o ScaleDoc, o sistema apresentado neste artigo. Pense nele como um sistema de triagem inteligente e ultra-rápido para essa biblioteca gigante.

Aqui está como ele funciona, usando analogias do dia a dia:

1. O Problema: O "Especialista" é Caro e Lento

Para entender o significado real de um texto, você precisa de um "Especialista" (neste caso, uma Inteligência Artificial avançada, chamada de LLM, como o GPT-4).

• O Dilema: O Especialista é brilhante e entende tudo, mas é muito caro e lento para ler milhões de documentos um por um. Se você pedir para ele ler tudo, a conta chega no final do mês e o processo leva dias.
• A Solução Antiga: Tentar usar "estagiários" (modelos de IA menores) para ler tudo. O problema é que esses estagiários muitas vezes não entendem o contexto novo e cometem muitos erros, ou ainda são caros demais.

2. A Solução ScaleDoc: O "Filtro Duplo"

O ScaleDoc resolve isso dividindo o trabalho em duas etapas: uma preparação offline (antes de você pedir) e uma triagem online (quando você faz a pergunta).

Etapa A: O "Mapa Semântico" (Offline)

Antes de qualquer pergunta chegar, o sistema usa o "Especialista" uma única vez para ler todos os documentos e criar um mapa mental (uma representação digital) de cada um.

• Analogia: É como se um bibliotecário experiente lesse todos os livros da biblioteca e escrevesse um resumo de 1 linha em um cartão para cada um, guardando esses cartões em uma caixa organizada. Isso demora um pouco no início, mas é feito uma só vez.

Etapa B: O "Estagiário Inteligente" (Online)

Quando você chega e faz uma pergunta (ex: "Quero textos sobre novos medicamentos?"), o sistema não chama o Especialista de novo para ler tudo. Em vez disso:

1. O Estagiário Personalizado: O sistema cria instantaneamente um "estagiário" super-rápido e barato, treinado especificamente para a sua pergunta, usando os cartões que foram feitos na Etapa A.

2. A Triagem Rápida: Esse estagiário olha para os milhões de documentos e diz:

   • "Esses 80% são claramente NÃO relacionados." (O sistema descarta eles imediatamente).
   • "Esses 10% são claramente SIM relacionados." (O sistema aceita eles imediatamente).
   • "Esses 10% são DUVIDOSOS..." (Aqui está a mágica).

3. O Filtro de Precisão: Para os casos duvidosos, o sistema usa uma técnica matemática inteligente para decidir o que fazer. Ele só envia para o "Especialista" (o caro) apenas os casos onde o estagiário realmente não tem certeza.

3. As Duas Inovações Chave (O Segredo do Sucesso)

O papel explica duas coisas que tornam esse sistema funcionar tão bem:

• O Treinamento do Estagiário (Aprendizado Contrastivo):

  • O Problema: Estagiários comuns dão notas confusas (ex: 0.5 para tudo), o que não ajuda a filtrar nada.
  • A Solução: O ScaleDoc treina o estagiário de uma forma especial (como um jogo de "pare e pare-se") para que ele separe claramente os "bons" dos "ruins". Ele aprende a dar notas extremas (muito alto ou muito baixo) e só deixa o meio para os casos realmente difíceis. É como treinar um guarda de trânsito a ser muito firme em quem pode passar e quem não pode, deixando apenas os carros com placas estranhas para o supervisor.

• A Calibração Adaptativa (O "Termômetro" Dinâmico):

  • O Problema: Como saber qual é o ponto de corte para não errar? Se o estagiário for muito rigoroso, você perde documentos bons. Se for muito relaxado, você gasta dinheiro demais com o Especialista.
  • A Solução: O sistema faz uma pequena amostra (como provar um prato antes de servir) para calibrar o "termômetro". Ele ajusta o filtro automaticamente para garantir que você atinja a precisão que pediu (ex: 90% de certeza) gastando o mínimo possível.

4. O Resultado: Velocidade e Economia

Os testes mostraram que o ScaleDoc é incrível:

• Velocidade: É mais de 2 vezes mais rápido do que usar apenas o Especialista para tudo.
• Economia: Reduz o uso do Especialista caro em até 85%. Imagine que, de 100 documentos, você só paga para o "Especialista" ler 15. Os outros 85 são resolvidos pelo "estagiário" rápido e barato.

Resumo em uma Frase

O ScaleDoc é como ter um assistente pessoal que, antes de você chegar, organiza a biblioteca inteira. Quando você faz uma pergunta, ele usa um filtro rápido e inteligente para separar o que é óbvio, e só chama o "guru" caro para resolver os poucos casos difíceis, economizando tempo e dinheiro sem perder a qualidade.

Resumo técnico

1. Problema

O sistema de análise de dados tradicional depende fortemente de predicados baseados em valores (ex: CITY = 'New York'). No entanto, as cargas de trabalho modernas exigem cada vez mais a análise de grandes coleções de documentos não estruturados com base no significado semântico (ex: "encontrar todos os artigos que desenvolveram novos medicamentos psicotrópicos").

Embora os Modelos de Linguagem de Grande Escala (LLMs) demonstrem capacidades impressionantes de zero-shot para entender essas consultas, sua aplicação direta em milhões de documentos enfrenta barreiras críticas:

• Custo Computacional Proibitivo: Executar inferência de LLM em cada documento para cada consulta ad hoc é extremamente caro e lento.
• Ineficiência de Processamento: Abordagens atuais que usam LLMs menores como proxies (filtros) ainda são computacionalmente pesadas para escalas massivas.
• Ambiguidade Semântica: A distinção entre documentos relevantes e irrelevantes nem sempre é clara, exigindo um equilíbrio delicado entre precisão e custo.

O objetivo é executar predicados semânticos em grandes coleções de documentos mantendo uma meta de precisão específica (definida pelo usuário) enquanto se minimiza drasticamente o número de chamadas ao LLM caro (o "Oracle").

---

2. Metodologia

O ScaleDoc propõe uma arquitetura que desacopla a execução do predicado em duas fases distintas: uma fase offline (representação) e uma fase online (filtragem otimizada).

Fase Offline: Representação Semântica

• Antes de qualquer consulta chegar, o sistema utiliza um LLM (ex: Mistral-7B) para gerar representações semânticas (embeddings) para cada documento da coleção.
• Esses embeddings são armazenados e reutilizados para todas as consultas futuras, eliminando a necessidade de reprocessar o texto completo do documento a cada nova pergunta.

Fase Online: Filtragem Adaptativa

Para cada nova consulta ad hoc, o ScaleDoc executa um pipeline de dois estágios:

1. Treinamento de Modelo Proxy Leve (Query-Aware):

   • Em vez de usar um modelo estático, o ScaleDoc treina um modelo proxy leve (uma MLP de 3 camadas) especificamente para a consulta atual.
   • Aprendizado por Contraste: O modelo é treinado com uma estratégia de aprendizado por contraste em duas fases para garantir que as pontuações de decisão sejam confiáveis:
     • Fase 1 (Monotonicidade Semântica): Garante que documentos semanticamente mais relevantes recebam pontuações mais altas.
     • Fase 2 (Bipolaridade): Força uma distribuição polarizada, onde documentos positivos e negativos se agrupam claramente nas extremidades do espectro de pontuação, facilitando a filtragem.
   • O modelo recebe os embeddings pré-calculados e a consulta, gerando uma pontuação de confiança para cada documento.

2. Mecanismo de Cascata Adaptativa (Ad Hoc Cascade):

   • O sistema define dois limiares (inferior e superior) para classificar os documentos em:
     • Alta Confiança (Positiva/Negativa): Filtrados pelo modelo proxy (não chamam o LLM).
     • Baixa Confiança (Ambíguos): Enviados ao LLM Oracle para decisão final.
   • Calibração Online: Como as distribuições de dados mudam a cada consulta, o ScaleDoc usa uma amostra pequena (ex: 5%) rotulada pelo Oracle para reconstruir as distribuições de probabilidade (PDFs) das pontuações.
   • Algoritmo de Seleção de Limiar: Utiliza um algoritmo otimizado para encontrar os limiares ideais que minimizam o número de chamadas ao Oracle, garantindo que a precisão global atinja a meta do usuário (ex: 90%).

---

3. Principais Contribuições

1. Arquitetura ScaleDoc: Um sistema inovador que separa a representação semântica (offline) da execução da consulta (online), permitindo reutilização massiva de computação.
2. Modelo Proxy com Aprendizado por Contraste: Introdução de uma estratégia de treinamento específica que gera pontuações de decisão com distribuição bipolar e monotonicidade semântica, superando classificadores binários tradicionais que falham em distinguir casos ambíguos.
3. Mecanismo de Cascata Adaptativa: Um fluxo de trabalho de calibração online que determina dinamicamente os limiares de filtragem para cada consulta, garantindo a meta de precisão com o mínimo custo computacional.
4. Garantias Teóricas: O sistema fornece garantias teóricas de que a precisão global será mantida com alta confiança, mesmo baseando-se em amostras pequenas para calibração.

---

4. Resultados Experimentais

O ScaleDoc foi avaliado em três conjuntos de dados reais (PubMed, BigPatent, GovReport) com 10.000 documentos cada e 20 consultas semânticas distintas.

• Aceleração de Desempenho: O sistema alcançou um speedup de mais de 2x no tempo de processamento ponta a ponta em comparação com as melhores abordagens existentes.
• Redução de Custos: Reduziu as chamadas ao LLM Oracle em até 85%, resultando em uma economia de custos de aproximadamente 6,6x.
• Eficiência Computacional: O ScaleDoc consumiu o menor total de FLOPs (operações de ponto flutuante) entre todas as abordagens testadas, superando significativamente cascata de LLMs menores (como Llama-3.2) e métodos baseados em embedding direto.
• Robustez: O sistema manteve a precisão alvo (F1-score) mesmo em cenários com desequilíbrio de classes (baixa seletividade) e em consultas complexas que exigem raciocínio implícito ou análise quantitativa.
• Comparação com Baselines: Superou abordagens como Probabilistic Predicates (PPs), FrugalGPT, LOTUS e BARGAIN, especialmente na capacidade de filtrar dados ambíguos sem sacrificar a precisão.

---

5. Significado e Impacto

O ScaleDoc representa um avanço significativo na viabilidade de usar LLMs para análise de dados em larga escala.

• Viabilidade Econômica: Ao reduzir drasticamente o custo de inferência de LLMs, torna economicamente viável realizar análise semântica profunda em corpora massivos de documentos, algo que antes era proibitivo.
• Generalização: Diferente de soluções que exigem engenharia manual para cada tarefa, o ScaleDoc é adaptável a qualquer consulta ad hoc sem necessidade de re-treinamento massivo de modelos grandes.
• Paradigma de Sistema: Estabelece um novo padrão para sistemas de banco de dados e análise que integram LLMs, demonstrando que a combinação de representações pré-calculadas, modelos leves especializados e calibração estatística pode superar as limitações de custo e latência dos modelos fundacionais.

Em resumo, o ScaleDoc transforma a análise semântica de documentos de um processo caro e lento em uma operação escalável e eficiente, permitindo que organizações explorem o valor oculto em seus dados não estruturados.