Resumo Técnico: Seleção de Hiperparâmetros Estatisticamente Válida

1. Definição do Problema

A monografia aborda a lacuna crítica no implantação de IA moderna entre a otimização empírica de hiperparâmetros (HPO) e a confiabilidade estatística. Embora os métodos padrão de HPO (ex: busca em grade, otimização Bayesiana) minimizem efetivamente o risco empírico em um conjunto de validação, eles carecem de garantias formais de que o hiperparâmetro selecionado satisfará restrições de confiabilidade específicas (ex: limites de risco, limites de latência, métricas de equidade) nos dados reais subjacentes.

O problema central é definido da seguinte forma: Dado um conjunto finito de candidatos a hiperparâmetros $\Lambda = \{\lambda_1, \dots, \lambda_K\}$ e um conjunto de dados de calibração finito $D_{cal}$, o objetivo é selecionar um hiperparâmetro $\hat{\lambda}$ tal que seu risco verdadeiro $R(\hat{\lambda})$ seja garantidamente inferior a um limiar $\alpha$ especificado pelo usuário com alta probabilidade ($1-\delta$). Crucialmente, essa garantia deve se manter pós-seleção, contabilizando a aleatoriedade introduzida pela busca sobre múltiplos candidatos e o tamanho finito dos dados de calibração.

2. Metodologia: O Paradigma Learn-Then-Test (LTT)

O artigo propõe um framework unificado chamado Learn-Then-Test (LTT), que reformula a seleção de hiperparâmetros como um problema de Teste de Hipóteses Múltiplas (MHT).

2.1 Framework Central

Em vez de minimizar o risco empírico diretamente, o LTT associa cada candidato $\lambda_k$ a uma hipótese nula:
$$H_k: R(\lambda_k) > \alpha$$
O objetivo é rejeitar $H_k$ (certificar $\lambda_k$ como confiável) apenas se houver evidência estatística suficiente de que o risco verdadeiro não excede $\alpha$.

O fluxo de trabalho envolve:

1. Estimativa de Risco: Calcular estimativas de risco empírico $\hat{R}_n(\lambda_k)$ nos dados de calibração.
2. Construção de Evidência: Transformar essas estimativas em medidas de evidência estatística válidas: p-valores ou e-valores.
3. Testes Múltiplos: Aplicar um procedimento de MHT para controlar taxas de erro globais (Taxa de Erro de Família - FWER, ou Taxa de Descoberta Falsa - FDR) através do conjunto de candidatos.
4. Seleção: Selecionar um hiperparâmetro final a partir do conjunto certificado $\hat{\Lambda}$ (o subconjunto de hipóteses nulas rejeitadas) com base em objetivos secundários (ex: acurácia, eficiência).

2.2 Maquinaria Estatística

A monografia desenvolve as ferramentas estatísticas necessárias a partir de primeiros princípios:

• P-valores: Construídos via desigualdades de concentração (ex: desigualdade de Hoeffding) para limitar a probabilidade de observar um risco empírico significativamente menor que o risco verdadeiro sob a hipótese nula.
• E-valores: Introduzidos como uma medida de evidência alternativa que satisfaz $E[e_k | H_k] \le 1$. Os e-valores são destacados por suas propriedades superiores em configurações sequenciais e adaptativas, incluindo validade pós-hoc (validade independentemente de quando o teste é interrompido) e validade composicional (capacidade de combinar evidências via média ou multiplicação).
• Controle de Erro:
  • Controle de FWER: Garante que, com probabilidade $1-\delta$, nenhum hiperparâmetro não confiável seja selecionado (usando procedimentos como Bonferroni ou Teste de Sequência Fixa).
  • Controle de FDR: Garante que a fração esperada de hiperparâmetros não confiáveis no conjunto selecionado seja, no máximo, $\delta$ (usando procedimentos como Benjamini-Hochberg ou e-BH).

3. Contribuições Principais e Extensões

A monografia estende o framework central LTT em quatro direções primárias para abordar restrições complexas do mundo real:

3.1 Além do Risco Médio (Funcionais de Confiabilidade Gerais)

O framework é generalizado para lidar com funcionais de risco além da média ($E[L]$).

• Controle de Risco de Quantil (QLTT): Certifica que um quantil específico da distribuição de perda (ex: o percentil 90 de latência) esteja abaixo de um limiar, protegendo contra eventos de cauda.
• Restrições de Teoria da Informação (IB-LTT): Aplica-se ao problema do Gargalo de Informação (Information Bottleneck), certificando que a informação mútua $I(T; Y)$ (relevância) exceda um limiar enquanto se otimiza a compressão $I(X; T)$.

3.2 Seleção Multiobjetivo

O framework aborda cenários com múltiplas restrições de confiabilidade simultâneas ($LC$) e objetivos auxiliares ($L - LC$).

• Teste de Pareto (PT): Restringe o teste de hipóteses à fronteira de Pareto estimada do conjunto de candidatos. Utiliza uma abordagem de duas etapas: (1) identificar a fronteira de Pareto usando um subconj even de dados ($D_{opt}$), e (2) aplicar Teste de Sequência Fixa (FST) na fronteira ordenada usando um conjunto de dados disjunto ($D_{MHT}$).
• Teste de Pareto Baseado em Grafo de Confiabilidade (RG-PT): Incorpora conhecimento estrutural prévio (ex: comprimento do prompt vs. confiabilidade) via um Grafo Acíclico Dirigido (DAG). Utiliza o algoritmo DAGGER para percorrer o grafo, permitindo a exploração paralela de caminhos de confiabilidade e melhorando a eficiência em relação à ordenação linear.

3.3 Seleção Adaptativa e Sequencial

Para reduzir orçamentos de rotulagem e custos computacionais, a monografia introduz o LTT Adaptativo (aLTT).

• Mecanismo: Em vez de um lote fixo, os dados chegam sequencialmente. O procedimento utiliza e-processos para atualizar a evidência de cada candidato dinamicamente.
• Inferência Válida a Qualquer Momento (Anytime-Valid): Aproveitando os e-valores, o procedimento pode ser interrompido em qualquer momento dependente dos dados (ex: assim que um número alvo de candidatos confiáveis for encontrado) sem invalidar as garantias estatísticas.
• Políticas de Aquisição: Emprega estratégias (ex: $\epsilon$-greedy) para alocar recursos de avaliação aos candidatos mais promissores, terminando precocemente os de baixo desempenho.

3.4 Autoevaluação com Ground Truth Limitado

O framework é adaptado para cenários onde rótulos de verdade fundamental (ground-truth) são caros, mas rótulos "autoevaluados" (ex: de um LLM-como-juiz) são baratos.

• R-AutoEval / R-AutoEval+: Combina o teste por apostas (e-processes) com Inferência Impulsionada por Predição (PPI). Isso permite uma seleção confiável usando uma mistura de dados escassos de verdade fundamental e dados abundantes de autoevaluação, corrigindo o viés do autoevaluador.

4. Resultados Experimentais

A monografia valida o framework através de comparações empíricas em três aplicações distintas:

1. Classificação de Imagens (Fashion-MNIST):

   • Configuração: Seleção de parâmetros de regularização para regressão logística.
   • Resultado: A HPO Empírica Convencional (E-HPO) violou o limiar de risco alvo ($\alpha=0.2$) em 53% dos testes. O LTT controlou a taxa de violação em 3%, bem abaixo do alvo $\delta=0.2$.

2. Agendamento Sem Fio (Wireless Scheduling):

   • Configuração: Seleção de hiperparâmetros para um escalonador de pacotes baseado em aprendizado para minimizar o atraso.
   • Resultado: A E-HPO resultou em um atraso médio excedendo o limiar de 10ms em 66% dos testes. O LTT manteve a taxa de violação abaixo do alvo.
   • Extensão: No cenário multiobjetivo (controlando atrasos para duas classes de QoS simultaneamente), o PT conseguiu controlar ambos os limites, enquanto o LTT de objetivo único falhou em garantir o limite não otimizado.

3. Engenharia de Prompt (LLMs):

   • Configuração: Seleção de templates de prompt para análise de sentimento com restrições de acurácia e comprimento de prompt.
   • Resultado: O RG-PT, aproveitando estruturas de confiabilidade prévias, identificou consistentemente prompts mais curtos e confiáveis em comparação ao LTT e PT, mantendo as mesmas garantias de FDR.

5. Significância e Alegações

O artigo afirma que sua principal contribuição é mudar o paradigma da seleção de hiperparâmetros de centrado na otimização (minimização empírica de melhor esforço) para centrado na confiabilidade (satisfação de restrições estatisticamente garantidas).

• Garantias Formais: Ao contrário da HPO padrão, o LTT fornece garantias de amostra finita e pós-seleção de que o sistema implantado não violará restrições críticas de segurança ou desempenho com uma probabilidade superior a um $\delta$ definido pelo usuário.
• Modularidade: O framework é agnóstico ao método de montante usado para gerar o conjunto de candidatos $\Lambda$ (ex: busca em grade, otimização Bayesiana). Ele atua como uma "camada de segurança" que pode ser aplicada a qualquer conjunto de candidatos.
• Robustez ao Viés de Seleção: Ao modelar explicitamente o processo de seleção como um problema de testes múltiplos, o framework corrige o "viés de seleção" inerente à escolha do candidato com melhor desempenho de um grande pool, uma falha que assola os métodos empíricos padrão.
• Flexibilidade: A extensão para riscos de quantil, restrições de teoria da informação, cenários multiobjetivo e aquisição sequencial de dados demonstra a aplicabilidade do framework a diversos e complexos cenários de implantação de IA, incluindo sistemas de segurança crítica e ambientes com recursos limitados.

A monografia conclui que, embora o ajuste heurístico continue sendo útil para encontrar configurações de alto desempenho, a seleção estatisticamente válida é necessária quando a confiabilidade, a segurança e a adesão estrita a Acordos de Nível de Serviço (SLAs) são primordiais.