Resumo Técnico: O Efeito de Design de Excedência

1. Declaração do Problema

Sistemas de aprendizado de máquina frequentemente dependem de limiares definidos em quantis específicos de um conjunto de calibração (ex: preditores conformes que garantem 90% de cobertura, portões de abstenção ou filtros de segurança). Essas garantias assumem que os exemplos de calibração são independentes e identicamente distribuídos (i.i.d.). No entanto, em pipelines modernos — como inferência de LLM, busca em feixe (beam search) ou traços de raciocínio — as unidades de calibração frequentemente compartilham um mesmo prompt, documento ou histórico de raciocínio, criando agrupamentos (clusters) de dados dependentes.

Embora a estatística de levantamento (survey statistics) há muito tempo trate da redução no tamanho de amostra efetivo ($n_{eff}$) para médias sob agrupamento através do efeito de design (Kish, 1965), este artigo argumenta que a correção padrão é inapropriada para limiares (estatísticas de ordem). O efeito de design padrão baseia-se na correlação de escores brutos. O autor demonstra que, para um limiar, a correlação relevante não é entre os escores em si, mas entre os indicadores de excedência (se um escore está acima ou abaixo do limiar). Além disso, essa correlação não é constante; ela depende do nível específico em que o limiar é definido.

2. Metodologia e Estrutura Teórica

Definições Principais

• Indicador de Excedência: Para um limiar $q_p$ (o $p$-quantil), o indicador é $I = \mathbb{1}\{S \le q_p\}$.
• Correlação de Excedência ($\rho_I(p)$): A autocorreção intra-agrupamento desses indicadores binários.
• Efeito de Design de Excedência (DEFF): Definido como $1 + (\tilde{m} - 1)\rho_I(p)$, onde $\tilde{m}$ é a média do tamanho do agrupamento ponderada pelo tamanho (size-biased mean).
• Tamanho de Amostra Efetivo ($n_{eff}$): $n / \text{DEFF}$.

Derivação Teórica

O artigo deriva uma lei em forma fechada para a distribuição da cobertura realizada ($C$) sob agrupamento.

1. Configuração: Os escores de calibração chegam em $b$ agrupamentos de tamanho $m$ (total $n=bm$). Os agrupamentos são i.i.d., e os escores dentro de um agrupamento são permutáveis (exchangeable). O escore de teste é independente dos agrupamentos de calibração.
2. Variância da CDF Empírica: A variância da CDF empírica no quantil é derivada tratando as CDFs empíricas ao nível do agrupamento como médias i.i.d. A variância da soma dos indicadores dentro de um agrupamento introduz o termo $1 + (m-1)\rho_I(p)$.
3. Representação de Bahadur: Usando a representação de Bahadur para quantis, o autor mostra que a densidade da distribuição do escore se cancela ao mapear o erro do quantil para a probabilidade de cobertura. Este é um passo crítico: isso implica que a dispersão da cobertura depende apenas da correlação dos indicadores, não da correlação dos escores brutos ou da forma da densidade subjacente.
4. Lei Limite (Teorema 1): À medida que $b \to \infty$, a cobertura $C$ converge em distribuição para uma distribuição Normal (ou uma distribuição Beta correspondente para amostras finitas) com variância:
   $$\text{Var}(C) \approx \frac{p(1-p)}{n_{eff}} = \frac{p(1-p)}{n / [1 + (m-1)\rho_I(p)]}$$
   Isso estabelece que o efeito de design atua como uma redução no tamanho da amostra especificamente para a dispersão da cobertura.

Extensões

• Famílias Irregulares (Ragged Families) (Proposição 2): Para agrupamentos de tamanhos desiguais $m_j$, o teorema mantém-se se $m$ for substituído pela média ponderada pelo tamanho $\tilde{m} = \frac{\sum m_j^2}{\sum m_j}$.
• Tamanhos Informativos (Seção 2.5): O artigo alerta que, se os tamanhos dos agrupamentos forem correlacionados com os escores (ex: questões mais difíceis geram traços de raciocínio mais longos), a marginal de calibração difere da marginal de teste, introduzindo um viés de primeira ordem na média da cobertura que o efeito de design não corrige.
• Deriva de Média (Mean Drift) (Conjectura 1): Sob agrupamento, a cobertura média não é exatamente o nível nominal $p$, mas sofre um desvio por um termo de ordem $O(1/b)$ dependente da derivada de $\rho_I(p)$.

3. Principais Contribuições

1. O Efeito de Design de Excedência: O artigo prova que o tamanho de amostra efetivo para um limiar é governado pela correlação dos indicadores de excedência ($\rho_I$), não pela correlação dos escores brutos ($\rho$).
2. Dependência de Nível: Demonstra que $\rho_I(p)$ é uma função do nível do limiar $p$. Um conjunto de dados não possui um único tamanho de amostra efetivo; ele possui um para cada nível de limiar. Em muitos casos (ex: cópulas gaussianas), $\rho_I(p)$ atenua-se nas caudas, o que significa que o efeito de design é menor em níveis de cobertura mais rigorosos (ex: 99%) do que em níveis mais frouxos (ex: 90%).
3. Falha das Correções Padrão: Mostra que aplicar o efeito de design de Kish padrão usando a correlação de escores brutos $\rho$ é incorreto. Em muitos cenários realistas, $\rho_I(p) < \rho$, levando a uma superestimação do efeito de design (desperdiçando dados) ou, em estruturas de cópula específicas, a uma subestimação (implantação insegura).
4. Correção para Agrupamentos Irregulares: Fornece a substituição correta para tamanhos de agrupamento desiguais usando a média ponderada pelo tamanho $\tilde{m}$, mostrando que a média do tamanho do agrupamento $\bar{m}$ subestima significativamente a penalidade da irregularidade.
5. Validação Empírica:
   • Conjunto de Dados PRM Liberado: Em um conjunto de calibração de modelo de recompensa de processo (PRM) liberado (25.028 exemplos), o autor mede um tamanho de amostra efetivo de $\approx 1.300$. A correlação de escore padrão sugeria uma penalidade muito menor, enquanto a correlação de indicadores revelou um efeito de design de $\approx 30,8$ (antes de corrigir para tamanhos informativos).
   • Varredura Gerada: Usando busca em feixe (beam search) versus amostragem independente, o autor isola o mecanismo de "ancestralidade compartilhada", mostrando que a busca em feixe induz um $\rho_I$ alto, enquanto a amostragem independente não o faz, mesmo quando condicionada ao mesmo prompt.

4. Resultados e Medições

• Dispersão vs. Média: O principal impacto do agrupamento está na dispersão da cobertura realizada (efeito de primeira ordem), não na média (efeito de segunda ordem). Um sistema implantado uma única vez pode experienciar uma cobertura muito abaixo da garantia nominal, mesmo que a média sobre muitas execuções pareça correta.
• Magnitude do Erro: No conjunto de dados PRM, a distribuição da cobertura realizada foi $4,46\times$ mais larga que a previsão i.i.d. A probabilidade de uma implantação ficar abaixo do esperado por 0,5 ponto percentual aumentou de 0,4 por 1.000 (i.i.d.) para 284,5 por 1.000 (agrupado).
• Padrão vs. Correto: Usar a correlação de escore bruto para estimar o efeito de design resultou em erros até $5,7\times$ piores do que a lei correta baseada em indicadores. Em alguns casos (ex: SQuAD 2.0), a correlação de escore bruto era próxima de zero, sugerindo que nenhuma correção era necessária, enquanto a correlação de indicador era positiva, exigindo uma correção significativa.
• Comportamento de Cauda: Para cópulas de independência de cauda (como a Gaussiana), o efeito de design diminui à medida que o limiar se move para a cauda. Para cópulas de dependência de cauda (como Student-t ou misturas de átomos), o efeito de design atinge um piso determinado pelo coeficiente de dependência de cauda.

5. Significância e Alegações

O artigo afirma fechar uma lacuna entre a teoria de amostragem de levantamento e a predição conforme. Embora os componentes (efeitos de design, correlações de indicadores, médias ponderadas pelo tamanho) existam em literaturas separadas (amostragem de levantamento, econometria, teoria de cópulas), este artigo é o primeiro a compô-los em uma lei específica para limiares estimados a partir de dados agrupados.

Alegações Modestas:

• O artigo não afirma resolver o problema de tamanhos de agrupamento informativos (onde o tamanho se correlaciona com o escore); ele o diagnostica e nota que isso requer uma correção diferente (predição conforme ponderada).
• A deriva de média (Conjectura 1) é apresentada como uma conjectura bem testada com um resto medido, não como um teorema totalmente provado, embora a lei de dispersão (Teorema 1) seja provada.
• O artigo não afirma que todo agrupamento é ruim; ele fornece as ferramentas para quantificar exatamente quanta "informação" um conjunto agrupado retém, permitindo que os praticantes decidam se o custo-benefício vale a pena.

Implicações Práticas:

• Os praticantes devem estimar $\rho_I(p)$ diretamente de pares do mesmo agrupamento, em vez de confiar em correlações de escores brutos.
• O tamanho de amostra efetivo deve ser reportado por nível de cobertura, não como um número global único.
• "Comprar profundidade" (mais amostras por prompt) produz retornos decrescentes em comparação com "comprar amplitude" (mais prompts), pois $n_{eff}$ é limitado pelo número de agrupamentos $b$.
• Reportar o número de agrupamentos $b$ e o tamanho de amostra efetivo $n_{eff}$ é essencial para interpretar a confiabilidade de uma única implantação.

O artigo conclui que o "dano" do agrupamento é invisível em métricas de cobertura média, mas plenamente sentido em implantações individuais, e que as ferramentas padrão para médias (fórmula de Kish sobre escores) são insuficientes para as garantias baseadas em ranking da predição conforme.