Resumo Técnico: SOMA – Serviço Eficiente de LLMs Multi-turno via Pequeno Modelo de Linguagem

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) são cada vez mais implantados em cenários de diálogo multi-turno, onde a manutenção do contexto conversacional é essencial. As práticas padrão de serviço concatenam o histórico completo do diálogo a cada turno para garantir coerência. Embora confiável, essa abordagem incorre em custos substanciais em latência, memória e despesas de API, particularmente quando as consultas são roteadas para modelos proprietários grandes. As soluções existentes lutam para equilibrar a qualidade da resposta com a eficiência:

• Abordagens de modelo único (por exemplo, compressão, recuperação de memória, reutilização de atenção) ainda dependem do modelo grande para cada turno, falhando em reduzir significativamente os custos monetários ou o uso de GPU.
• Abordagens de múltiplos modelos (por exemplo, rotear consultas simples para modelos menores) frequentemente falham em generalizar através da complexidade do diálogo e introduzem sobrecarga devido à troca de modelos. Além disso, os LLMs dependem fortemente dos primeiros turnos para fundamentação; simplesmente passar os turnos posteriores para um modelo pequeno sem modelar o contexto acumulado leva a desvio de resposta e qualidade degradada.

O desafio central é alcançar um framework de serviço multi-turno eficiente e consciente do contexto que evite recalcular o histórico completo a cada turno, preservando ao mesmo tempo a qualidade da resposta.

Metodologia: SOMA

Os autores propõem o SOMA (Soft-prompts for lOcal Manifold Approximation - Prompts Suaves para Aproximação de Variedade Local), um framework que explora a distribuição de "cauda longa" dos contagens de tokens em diálogos multi-turno (onde os primeiros turnos são densos em informação e os turnos posteriores são atualizações mais curtas). O SOMA adapta um modelo substituto menor ($G$) para aproximar o comportamento de um modelo original grande ($F$) dentro de uma região local restrita da variedade de raciocínio definida pela conversa inicial.

O framework opera por meio de um pipeline de três estágios:

1. Ajuste de Prompt Suave (Mineração de Direções de Alinhamento Fraco)

O sistema utiliza os primeiros turnos de uma sessão para identificar onde o modelo substituto $G$ diverge mais significativamente do modelo grande $F$.

• Objetivo: Aprender uma matriz de prompt suave $P$ que maximize a divergência semântica entre $F$ e $G$.
• Função de Perda: O objetivo combina:
  • Perda de Divergência Semântica: Uma perda do estilo de "não probabilidade" que desencoraja $G$ de atribuir alta probabilidade aos tokens produzidos por $F$, estendida a um "vizinhança semântica" para capturar desacordos parafraseados.
  • Divergência Ponderada por Expectativa: Um termo que aumenta o peso das penalidades se a incorporação esperada da saída de $G$ ainda estiver alinhada com o token de $F$, impedindo que o modelo simplesmente espalhe a massa de probabilidade sobre tokens semanticamente similares, mas incorretos.
  • Regularizador Anti-Degeneração: Um termo de entropia para evitar que o prompt suave colapse em saídas repetitivas ou banais.
• Processo: O prompt suave é aplicado à camada de incorporação de $G$, enquanto uma verbalização de vizinho mais próximo é aplicada a $F$ para garantir condicionamento comparável.

2. Ajuste Fino Localizado (Adaptação LoRA)

Uma vez que os prompts suaves identificam os casos locais "difíceis" (direções de desacordo máximo), esses exemplos são destilados em uma adaptação leve do substituto.

• Seleção de Dados: Os turnos com as maiores pontuações de divergência mineradas são selecionados para formar um conjunto de treinamento local.
• Adaptação: O substituto $G$ é ajustado finamente usando LoRA (Adaptação de Baixo Rango) nas projeções de atenção e MLP, otimizando para as respostas do modelo original nesses turnos selecionados.
• Resultado: Os prompts suaves contínuos são descartados. O substituto adaptado agora é especializado na variedade local da sessão atual.

3. Inferência Eficiente com Troca e Reversão

• Troca: Um portão semântico (baseado em similaridade de cosseno) determina quando trocar do modelo grande $F$ para o substituto adaptado $G$. A troca ocorre apenas após uma janela de inicialização e um lote de aceitação confirmarem que o substituto está alinhado com o modelo original e que o diálogo permanece dentro do estado local aprendido.
• Inferência: Após a troca, o sistema atende aos turnos usando o substituto adaptado com uma entrada comprimida (um resumo de orçamento fixo do conteúdo inicial mais os turnos recentes), evitando o processamento do histórico completo.
• Reversão: Um detector de desvio monitora o diálogo. Se a conversa mudar de tópico ou afastar-se do estado local aprendido, o sistema reverte para o modelo grande $F$, atualiza o resumo local e reavalia a condição de troca.

Principais Contribuições

1. Descoberta Empírica de Padrões de Cauda Longa: Os autores revelam um padrão consistente de cauda longa em diálogos multi-turno através de diversos domínios (ShareGPT, médico, negociação, role-play), onde os primeiros turnos carregam contexto pesado e os turnos posteriores são atualizações mais curtas. Isso motiva o uso de um substituto mais barato para os turnos posteriores, dado o contexto acumulado.
2. Framework SOMA: Um método inovador para serviço eficiente multi-turno que:
   • Aprende prompts suaves para expor a máxima dissimilaridade de resposta entre modelos substitutos e originais.
   • Adapta o substituto via ajuste fino LoRA localizado em direções de alinhamento fraco mineradas.
   • Habilita inferência sem prompts com um simples portão de cosseno para troca e um mecanismo de reversão consciente de desvio.
3. Análise Teórica: O artigo fornece limites teóricos para:
   • Confiabilidade de Troca: Limites de concentração para a generalização da inicialização e detecção do lote de aceitação.
   • Cobertura de Busca de Prompt: Garantias sobre o número de candidatos de prompt suave necessários para cobrir a variedade de discrepância local.
   • Limites de Subotimalidade: Análise da qualidade direcional dos candidatos selecionados.

Resultados Experimentais

Extensos experimentos foram conduzidos em seis conjuntos de dados (ShareGPT, ReMeDi, Craigslist, Multi-Char, MATH, MT-Bench) usando as famílias de modelos LLaMA e Qwen.

• Similaridade de Resposta: O SOMA alcança a maior similaridade de resposta com o modelo grande original em todos os conjuntos de dados, superando baselines como History-Prefix (alimentar o histórico completo ao modelo pequeno), History-FT (ajuste fino padrão) e RouteLLM.
• Qualidade Fundamentada na Tarefa: No conjunto de dados MATH, o SOMA reduz significativamente a lacuna de precisão entre o pequeno substituto e o modelo grande original, demonstrando que os ganhos de similaridade se traduzem em capacidades de raciocínio preservadas.
• Eficiência:
  • Uso de Tokens: O SOMA reduz o uso médio de tokens ao evitar o serviço de histórico completo repetido após a troca.
  • Ponto de Equilíbrio: Embora sessões curtas possam não se beneficiar devido à sobrecarga de inicialização, sessões de média a longa duração mostram ganhos líquidos significativos em latência e custos de tokens.
• Estudos de Ablação: A remoção do regularizador anti-degeneração ou do termo ponderado por expectativa leva a quedas de desempenho, confirmando a necessidade de mineração de prompts estável e seleção consciente de desacordo.
• Confiabilidade: A reversão consciente de desvio recupera com sucesso o desempenho quando ocorrem mudanças de tópico, mantendo alta similaridade enquanto minimiza reversões falsas.

Significado e Alegações

O artigo afirma que o serviço de substituto local à sessão é uma direção prática e eficaz para a implantação eficiente de LLMs multi-turno. Ao tratar diálogos multi-turno como um problema de aproximação de variedade local, o SOMA permite que modelos pequenos repliquem os processos de raciocínio de modelos grandes dentro de contextos conversacionais específicos.

Os autores enfatizam que essa abordagem:

• Reduz custos de serviço e latência sem sacrificar a coerência.
• É particularmente eficaz para sessões onde os turnos posteriores permanecem ligados a um estado de diálogo estabelecido (a condição "local").
• Mitiga o risco de degradação de qualidade através de portões de aceitação semântica e mecanismos automáticos de reversão.

O trabalho sugere que, para muitas aplicações interativas do mundo real, o ônus computacional de reprocessar o histórico completo com um modelo grande é desnecessário se o sistema puder adaptar dinamicamente um modelo menor ao contexto conversacional local.