Post-Selection Distributional Model Evaluation

Título: Avaliação Distribucional de Modelos Pós-Seleção (PS-DME)

Autores: Amirmohammad Farzaneh e Osvaldo Simeone
Instituições: King's College London e Northeastern University London

1. Problema e Motivação

Métodos formais de avaliação de modelos geralmente certificam se um modelo atende a um nível pré-especificado de um Indicador-Chave de Desempenho (KPI), como uma taxa de erro máxima tolerada. No entanto, em muitas aplicações práticas (ex: agentes de LLM em dispositivos móveis, redes de telecomunicações), o nível alvo de risco ou desempenho pode não ser conhecido a priori.

Os usuários frequentemente desejam comparar modelos candidatos analisando as compensações (trade-offs) completas entre desempenho e confiabilidade em tempo de teste. Isso requer a estimativa da distribuição completa do KPI (ex: latência, erro quadrático) para cada configuração candidata.

O desafio central identificado é o viés de pós-seleção:

1. Os modelos são pré-selecionados de um grande conjunto de candidatos com base nos mesmos dados que serão usados para estimar suas distribuições.
2. A aplicação ingênua de bandas de confiança clássicas após essa seleção leva a estimativas excessivamente otimistas e falha em garantir a validade estatística.
3. Métodos existentes baseados em "separação de dados" (data splitting) evitam o viés, mas desperdiçam dados, resultando em bandas de confiança largas e ineficientes, especialmente quando os dados são escassos.

2. Metodologia: PS-DME

Os autores propõem o PS-DME (Post-Selection Distributional Model Evaluation), um framework geral para avaliação distribucional estatisticamente válida após qualquer pré-seleção dependente de dados.

Principais Componentes:

1. Pré-seleção Arbitrária: O framework permite que o usuário selecione um subconjunto de configurações promissoras ($\mathcal{K}$) usando qualquer critério dependente de dados (ex: menor erro médio, custo, etc.).
2. Reutilização Total de Dados (In-Sample): Diferente do data splitting, o PS-DME utiliza o conjunto de dados completo tanto para a seleção quanto para a inferência distribucional.
3. Controle da Taxa de Cobertura Falsa (FCR): O objetivo é garantir que a probabilidade de falha na cobertura das bandas de confiança para os modelos selecionados seja controlada. Formalmente, busca-se garantir que a Taxa de Cobertura Falsa (FCR) seja menor ou igual a um limiar $\delta$:
   $$\text{FCR} = \mathbb{E}\left[ \frac{1}{\max(|\mathcal{K}|, 1)} \sum_{k \in \mathcal{K}} \mathbb{1}\{O_k\} \right] \leq \delta$$
   Onde $O_k$ é o evento de que a verdadeira CDF (Função de Distribuição Acumulada) do modelo $k$ sai da banda de confiança estimada.

Fundamento Teórico: E-valores

O PS-DME baseia-se na teoria de e-valores (e-values), que são estatísticas robustas para teste de hipóteses, superiores aos p-valores em cenários de seleção pós-hoc.

• Utiliza-se uma função de calibração de e-valores ($f$) para converter p-valores derivados da desigualdade de Dvoretzky-Kiefer-Wolfowitz (DKW) em e-valores.
• As bandas de confiança para a CDF $F_k(x)$ são construídas como:
  $$L_k(x) = \max\{0, \hat{F}_k(x) - \varepsilon_k\}, \quad U_k(x) = \min\{1, \hat{F}_k(x) + \varepsilon_k\}$$
• A largura da banda $\varepsilon_k$ é ajustada dinamicamente para compensar a seleção de dados, dependendo do tamanho do conjunto de candidatos ($K$), do número de modelos selecionados ($|\mathcal{K}|$) e da função de calibração escolhida.

Comparação com o Baseline (SS-DME)

O método de referência é o SS-DME (Sample-Splitting), que divide os dados em um conjunto de seleção e um de inferência.

• Vantagem do PS-DME: O artigo prova teoricamente que o PS-DME é mais eficiente em termos de amostragem. Sob certas condições (especialmente quando os dados são limitados), o PS-DME produz bandas de confiança mais estreitas do que o SS-DME, pois a economia de usar todos os dados supera o custo da correção estatística necessária para a pós-seleção.

3. Contribuições Chave

1. Novo Framework (PS-DME): Introdução de um protocolo formal para avaliação distribucional que suporta a reutilização total de dados após seleção arbitrária, garantindo controle de FCR.
2. Eficiência Estatística: Demonstração teórica e empírica de que o uso de e-valores permite bandas de confiança mais estreitas (mais precisas) do que a separação de dados tradicional, especialmente em regimes de baixa amostragem.
3. Exploração de Trade-offs: Capacidade de permitir que os usuários explorem diferentes níveis de confiabilidade ($1-\gamma$) e desempenho sem comprometer a validade estatística, facilitando a escolha de pontos de operação ótimos.
4. Validação Multidisciplinar: Aplicação e validação em três domínios distintos: dados sintéticos, decodificação de LLMs e desempenho de redes de telecomunicações.

4. Resultados Experimentais

Os experimentos compararam o PS-DME contra o SS-DME e uma abordagem ingênua (N-PS-DME, sem correção de viés).

• Dados Sintéticos (Regressão Linear):

  • O PS-DME e o SS-DME controlaram corretamente a taxa de cobertura falsa (FCR), enquanto a abordagem ingênua falhou.
  • O PS-DME produziu bandas de confiança significativamente mais estreitas, permitindo a seleção de um KPI garantido (ex: erro quadrático) menor e, portanto, melhor, especialmente quando o tamanho da amostra de calibração era pequeno ($n=20$).

• Decodificação de LLM (Text-to-SQL):

  • Cenário: Seleção de configurações de hiperparâmetros (temperatura, top-p) para o modelo Qwen2.5-7B no benchmark Spider.
  • Resultado: O PS-DME garantiu consistentemente um KPI (perda) menor para as estratégias de decodificação selecionadas em comparação com o SS-DME, demonstrando sua utilidade na otimização de modelos de linguagem.

• Avaliação de Redes de Telecomunicações (O-RAN):

  • Cenário: Avaliação de configurações de alocação de recursos em redes 5G (O-RAN) focando na ocupação de buffer.
  • Resultado: O PS-DME forneceu garantias mais fortes (menor ocupação de buffer garantida) do que as variantes de separação de dados, especialmente em regimes de dados limitados. A análise mostrou que, embora a separação de dados possa ser competitiva em cenários de muitos dados com divisões específicas, o PS-DME é superior na maioria dos casos práticos de dados escassos.

• Latência de Servidor HTTP:

  • Análise de logs de servidores reais mostrou que a escolha do parâmetro do calibrador de e-valores ($\tau$) impacta a largura da banda, com valores intermediários oferecendo o melhor equilíbrio.

5. Significado e Conclusão

O trabalho de Farzaneh e Simeone resolve um problema fundamental na engenharia de ML e sistemas: como avaliar a distribuição de desempenho de modelos de forma rigorosa quando a seleção do modelo é feita nos mesmos dados.

• Impacto Prático: Permite que engenheiros e pesquisadores explorem o espaço de desempenho vs. confiabilidade de forma segura, sem desperdiçar dados valiosos em divisões de treino/teste rígidas.
• Avanço Teórico: Estabelece uma conexão robusta entre a teoria de e-valores e a avaliação distribucional de modelos, superando as limitações dos métodos baseados em p-valores e separação de dados.
• Aplicabilidade: O framework é agnóstico ao tipo de modelo (LLMs, redes neurais, sistemas de telecomunicações) e ao critério de seleção, tornando-o uma ferramenta versátil para a implantação confiável de sistemas de IA.

Em resumo, o PS-DME oferece um caminho para a exploração estatisticamente confiável de trade-offs, permitindo a seleção de configurações de modelos que equilibram melhor desempenho e confiabilidade em cenários do mundo real.