Text-to-Distribution Prediction with Quantile Tokens and Neighbor Context

Título: Predição de Distribuição Texto-Distribuição com Tokens de Quantil e Contexto de Vizinhança

1. Problema e Motivação

Muitas aplicações de modelos de linguagem grandes (LLMs) para regressão exigem a previsão de uma distribuição condicional completa (incerteza, caudas, dispersão) em vez de um único valor pontual. Exemplos incluem previsão de preços, demanda e avaliação de riscos.

O artigo identifica três limitações principais nas abordagens atuais de regressão baseada em LLMs:

1. Gargalo de Representação Compartilhada: Métodos existentes (como o de Vedula et al., 2025) usam um único estado oculto final para alimentar múltiplas cabeças lineares, cada uma prevendo um quantil. Isso cria uma conexão indireta entre as características de entrada e as saídas específicas de cada quantil, forçando o modelo a comprimir toda a informação da distribuição em um único vetor.
2. Falta de Ancoragem Local (Grounding): As previsões são baseadas apenas no texto de consulta, sem acesso explícito a exemplos semelhantes que poderiam informar a distribuição esperada (diferente do raciocínio humano, que compara com casos similares).
3. Supervisão Limitada em Métodos de Recuperação: Abordagens anteriores de recuperação aumentada (RAG) para regressão geralmente associam apenas um rótulo pontual a cada vizinho recuperado, não fornecendo a riqueza de uma distribuição empírica completa.

2. Metodologia Proposta

Os autores propõem uma arquitetura inovadora chamada Quantile Token Regression (Regressão com Tokens de Quantil), combinada com Estimação de Distribuição Aumentada por Recuperação.

A. Tokens de Quantil (Quantile Tokens)

• Mecanismo: Em vez de usar cabeças lineares separadas sobre um estado oculto compartilhado, o modelo insere tokens dedicados de quantil (ex: <Qτ1>, <Qτ50>, <Qτ99>) diretamente na sequência de entrada do Transformer.
• Funcionamento: Cada token de quantil participa do mecanismo de autoatenção (self-attention) ao longo de todas as camadas do modelo. Isso permite que cada token de quantil "ouça" e agregue informações específicas de diferentes partes do texto de entrada e do contexto.
• Vantagem: Cria um caminho direto de entrada-saída para cada nível de quantil. O token <Q10> pode aprender a focar em sinais de popularidade (para respostas rápidas), enquanto o <Q90> foca em complexidade (para respostas lentas), resultando em previsões mais coerentes e interpretáveis.

B. Recuperação Aumentada por Vizinhança (Neighbor Context)

• Abordagem: Para cada texto de consulta, o sistema recupera os $K$ vizinhos semanticamente mais semelhantes de um pool de candidatos.
• Inovação Crucial: Diferente de métodos anteriores que recuperam apenas um rótulo pontual, este método recupera a distribuição empírica completa de cada vizinho, representada como um conjunto de quantis observados.
• Objetivo: Ancorar a previsão da distribuição do alvo na evidência distribucional de instâncias similares, ajudando a estimar não apenas a tendência central, mas também a dispersão e o comportamento das caudas.

C. Funções de Perda e Análise Teórica

Os autores realizam uma análise teórica de diferentes funções de perda para supervisão de quantis empíricos:

• Perdas $\ell_1$ e $\ell_2$ (Wasserstein): Tratam os quantis empíricos interpolados como medições ruidosas dos quantis populacionais latentes. A análise mostra que essas perdas são consistentes de Fisher para estimar os quantis verdadeiros, especialmente quando há múltiplas observações por instância.
• Perda Pinball (Mecanismo de Pinball): Aplicar a perda pinball padrão diretamente aos quantis empíricos ou apenas à mediana resulta em viés sistemático (inflação/deflação) e perda de informação sobre a forma da distribuição.
• Conclusão Teórica: As perdas baseadas em Wasserstein ($\ell_1$ e $\ell_2$) são superiores para esta tarefa, oferecendo melhor equilíbrio entre precisão e nitidez (sharpness).

3. Contribuições Principais

1. Arquitetura de Token de Quantil: Primeira proposta de inserir tokens dedicados na entrada para criar caminhos diretos de atenção para cada quantil, superando o gargalo de representação compartilhada.
2. Recuperação de Distribuições Completas: Extensão da recuperação aumentada para incluir distribuições empíricas completas (conjuntos de quantis) dos vizinhos, não apenas rótulos pontuais.
3. Análise Teórica de Perdas: Clarificação teórica sobre quais objetivos de distribuição cada função de perda otimiza, demonstrando a superioridade das perdas de Wasserstein neste contexto específico.
4. Benchmarks e Resultados: Avaliação extensiva em dois conjuntos de dados diversos (Airbnb e StackSample) com modelos LLM de 1.7B a 14B parâmetros.

4. Resultados Experimentais

Os experimentos foram realizados nos conjuntos de dados Inside Airbnb (previsão de preços) e StackSample (previsão de tempo de resposta em perguntas do Stack Overflow).

• Desempenho Geral: A combinação de Tokens de Quantil + Vizinhança (QT+K) superou consistentemente todas as baselines.
  • Redução de Erro: Redução de ~4 pontos no MAPE médio (Mean Absolute Percentage Error) em comparação com as baselines.
  • Intervalos de Previsão: Redução de 2x na largura dos intervalos de previsão (RCIW), indicando distribuições mais precisas e menos incertas.
• Impacto em Dados Menores/Desafiadores: Os ganhos foram mais dramáticos no conjunto StackSample (dados menores e mais ruidosos).
  • O método proposto reduziu o MAPE médio de 266,65 (baseline) para 84,30 (68% de redução).
  • Reduziu o intervalo de confiança de 99% (RCIW@99) de $4,55 \times 10^4$ para 346,90 (uma redução de 131x), demonstrando capacidade de capturar a distribuição real em vez de apenas prever intervalos vastos e inúteis.
• Escala de Modelo: A recuperação aumentada e os tokens de quantil foram críticos para tarefas de alta incerteza. Em modelos maiores (ex: 14B), os ganhos de precisão pontual saturaram, mas a combinação com recuperação manteve a superioridade na qualidade da distribuição.
• Generalização (OOD): Em testes fora de domínio (Los Angeles no Airbnb), o método manteve alto desempenho, validando a capacidade de generalização baseada em vizinhança.

5. Significado e Conclusão

O trabalho demonstra que para tarefas de regressão texto-distribuição, a arquitetura do modelo e o contexto de recuperação são tão importantes quanto o tamanho do modelo.

• Eficiência: A abordagem permite que modelos menores (1.7B) alcancem desempenho competitivo ao usar tokens dedicados e contexto rico.
• Interpretabilidade: Os tokens de quantil permitem inspecionar quais partes do texto o modelo está usando para prever diferentes partes da distribuição (caudas vs. mediana).
• Aplicabilidade: Oferece um framework escalável e eficaz para aplicações que exigem gestão de risco e previsão de incerteza, como finanças, logística e plataformas de conteúdo, superando as limitações de métodos que preveem apenas valores pontuais.

Em resumo, a combinação de representações dedicadas por quantil e evidência distribucional local via recuperação constitui um avanço significativo na capacidade dos LLMs de modelar incerteza e distribuições complexas a partir de texto não estruturado.