Resumo Técnico: PROXYDRIFT

Declaração do Problema

Aplicações de Large Language Models (LLMs) implantadas em escala enfrentam um gargalo crítico na avaliação offline: restrições rigorosas de privacidade e conformidade impedem o acesso direto aos dados brutos de interação do usuário (consultas, respostas e documentos de fundamentação). Consequentemente, os profissionais não podem inspecionar o tráfego de produção para montar conjuntos de avaliação representativos ou acompanhar a evolução do comportamento do usuário ao longo do tempo. Sem essa visibilidade, os conjuntos de avaliação offline tornam-se instantâneos estáticos e não verificados que degradam em relevância à medida que as populações de usuários mudam e novos fluxos de trabalho emergem. Esse desalinhamento leva a pontuações de qualidade distorcidas, pontos de dor ocultos dos usuários e iterações de modelos ajustadas contra perfis de usuários inexistentes. Métodos tradicionais de detecção de desvio (drift), que dependem da comparação de distribuições de entradas brutas, são inaplicáveis porque as próprias entradas não podem deixar o ambiente de produção.

Metodologia: Estrutura PROXYDRIFT

Para abordar isso, os autores apresentam o PROXYDRIFT, uma estrutura que permite a detecção de desvio e a reconstrução de conjuntos de dados de avaliação inteiramente sem o acesso aos dados brutos do usuário. A inovação central é a substituição dos dados de interação sensíveis por representações de proxy estruturadas e multidimensionais. Esses proxies são descritores não-PII derivados da classificação baseada em LLM das interações do usuário dentro do limite de conformidade da produção.

1. Representação de Proxy

O sistema mapeia as interações do usuário para um esquema JSON com $D=21$ dimensões categóricas, categorizadas como:

• Classificado vs. Observável: Dimensões classificadas (ex: intenção, tom, domínio) são geradas por um classificador de LLM; dimensões observáveis (ex: contagem de palavras, idioma) são computadas deterministicamente a partir de metadados.
• Nominal vs. Ordinal: Distinguindo entre categorias não ordenadas e valores ordenados para informar cálculos de distância.
• Valor Único vs. Multi-valor: Permitindo múltiplos rótulos por dimensão (ex: uma consulta tendo tanto a intenção de "Criação de Documento" quanto a de "Pesquisa").
• Pontuação de Confiança: Cada rótulo carrega uma pontuação de confiança ($0-5$), com um loop de autocorreção garantindo a conformidade do esquema até $K=10$ tentativas.

2. Medição de Desvio (Drift)

O PROXYDRIFT quantifica o desvio entre o tráfego de produção ($P$) e os conjuntos de avaliação offline ($O$) usando um score de alinhamento com redundância consciente (RA) e calibrado por chance:

• Métrica de Distância: Utiliza a Distância de Jensen–Shannon (JSD) para penalizar incompatibilidades de suporte (categorias presentes na produção, mas ausentes na avaliação).
• Calibração por Chance: Normaliza a distância contra um baseline de permutação (embaralhamento aleatório de $O$) para produzir um score de alinhamento $a \in [0, 1]$, onde $1$ indica distribuições idênticas e $0$ indica um desempenho não superior ao acaso.
• Desconto de Redundância: Agrega scores por dimensão usando uma média ponderada que desconta dimensões com base em sua informação mútua com dimensões processadas anteriormente. Isso evita que clusters de dimensões correlacionadas dominem o score agregado.

3. Geração de Conjunto de Dados Sintéticos

Para atualizar os conjuntos de avaliação, o PROXYDRIFT emprega um amostrador condicional baseado em árvore de Chow–Liu:

• Modelagem de Dependência: Constrói uma árvore geradora de peso máximo sobre as dimensões usando informação mútua como pesos de aresta, capturando dependências pareadas (ex: entre "intenção" e "formato de saída").
• Correções de Amostra Finita:
  • Amortecimento de MI: Aplica um fator de amortecimento sigmoide às estimativas de Informação Mútua (MI) para corrigir o viés positivo em tamanhos de amostra pequenos, evitando arestas espúrias.
  • Encolhimento Condicional: Encolhe as probabilidades condicionais empíricas em direção à prior marginal para valores de "pai" raros, usando um coeficiente baseado em $\chi^2$ para determinar a força do encolhimento.
• Hidratação: Os proxies sintéticos amostrados são convertidos de volta em consultas de linguagem natural por um gerador de LLM, que inverte o processo de classificação.

4. Consistência Intrínseca e Ligação de Feedback

• Análise de Ida e Volta (Roundtrip): A estrutura testa a fidelidade da representação de proxy ao gerar uma consulta a partir de um proxy, reclassificá-la e medir a distância de reconstrução. Isso impulsiona o refinamento iterativo da taxonomia.
• Ligação de Feedback: As distribuições de proxy são ligadas a sinais de satisfação do usuário (polegar para cima/baixo) para identificar dimensões e valores específicos que correlacionam com modos de falha ou sucesso.

Principais Resultados

A estrutura foi implantada em uma suíte de produtividade baseada em nuvem que atende centenas de milhões de usuários, monitorando cenários como geração de documentos e respostas baseadas em Excel.

• Alinhamento de Desvio: O amostrador condicional (Chow–Liu) alcançou um score de alinhamento de Redundância Consciente (RA) de 0,917 com o tráfego de produção, superando significativamente os conjuntos de dados legados curados manualmente (0,284) e os amostradores independentes básicos (0,897).
• Consistência de Roundtrip: Após o refinamento da taxonomia, a distância média de reconstrução caiu de 0,282 para 0,158 (uma redução de 44%), e a taxa de falha de ida e volta diminuiu de 6,9% para 0,4%.
• Indistinguibilidade: Em um teste de naturalidade, um discriminador de LLM não guiado não conseguiu distinguir de forma confiável as consultas sintéticas das consultas humanas ($p=0,14$). Mesmo com prompts guiados, o recall sintético permaneceu baixo (39%), indicando que os dados sintéticos mimetizam de perto a saída humana.
• Diagnósticos Acionáveis: O sistema identificou com sucesso valores de proxy específicos (ex: "Frustração" no tom, "Fórmula" em consultas de Excel) que correlacionam fortemente com a insatisfação do usuário. Aplicar esses insights para refinar a codificação de Excel no Microsoft Copilot resultou em ganhos significativos de precisão em benchmarks públicos (ex: +55,6 pontos para consultas relacionadas a fórmulas).

Significância e Alegações

O artigo afirma que o PROXYDRIFT fornece uma solução prática e preservadora de privacidade para o "ponto cego" na avaliação de LLMs em larga escala. Sua significância reside em:

1. Permitir o Monitoramento Contínuo: Permitindo que organizações rastreiem o desvio de produção e atualizem conjuntos de avaliação sem violar as restrições de privacidade de dados.
2. Corrigir o Viés de Avaliação: Demonstrando que os conjuntos offline legados sistematicamente inflam as pontuações de qualidade, enquanto os dados sintéticos alinhados à distribuição revelam lacunas reais de desempenho.
3. Fechar o Ciclo: Mostrando que diagnósticos baseados em proxies podem diretamente impulsionar melhorias de engenharia (ex: refinamentos de codificação de contexto) que melhoram o desempenho do modelo em modos de falha específicos.
4. Escalabilidade: Provando que representações de proxy estruturadas podem servir como um substrato robusto e de alta fidelidade tanto para detecção de desvio quanto para geração de dados sintéticos em ambientes de produção que atendem centenas de milhões de usuários.

Os autores posicionam este trabalho não como um substituto para a análise de dados brutos onde permitido, mas como uma capacidade necessária para os "cenários sensíveis à privacidade" que caracterizam as implantações modernas de LLM corporativos.