🤖 AI

Estimating Uncertainty in Classifier Performance with Applications to Large Language Models and Nested Data

Este artigo avalia métodos de intervalo de confiança para métricas de desempenho de classificadores sob condições típicas de classificação de textos em ciências sociais — como amostras pequenas e dados aninhados — demonstrando que abordagens padrão frequentemente resultam em cobertura imprecisa, ao mesmo tempo em que recomenda alternativas superiores como Agresti-Coull, Wilson e bootstrapping hierárquico para melhorar a transparência e a validação em aplicações de aprendizado de máquina.

Autores originais: Kylie Anglin

Publicado 2026-06-26

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Kylie Anglin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um chef que acabou de inventar uma nova receita para um "Bolo de Chocolate Perfeito". Você quer contar ao mundo o quão bom ele é. Você não diz apenas: "É 90% delicioso". Você precisa provar isso. Então, você convida 20 pessoas para provar. 18 delas dizem: "Sim, isto é ótimo!".

No mundo da ciência da computação e dos Grandes Modelos de Linguagem (LLMs), é exatamente isso que os pesquisadores fazem. Eles treinam computadores para ler textos e classificá-los em categorias (como "irritado", "feliz" ou "spam"). Para provar que seu computador é inteligente, eles mostram a ele uma amostra de texto que já foi avaliada por humanos e calculam uma pontuação, como o "Recall" (quantos dos textos "irritados" o computador encontrou?).

O Problema: O "Jogo de Adivinhação" da Confiança
O artigo argumenta que os pesquisadores estão atualmente jogando um perigoso "Jogo de Adivinhação". Eles relatam sua pontuação (ex: "90% de precisão!"), mas raramente relatam o quão certos eles estão sobre esse número.

Pense nisso como uma previsão do tempo. Se um meteorologista diz: "Há 90% de chance de chuva", isso é útil. Mas se ele apenas disser: "Vai chover", sem dizer se isso é baseado em uma imagem de satélite ou em um palpite, você não pode confiar nele.

Neste artigo, a autora, Kylie Anglin, diz que quando os pesquisadores usam pequenos grupos de pessoas para testar seus computadores, ou quando a "chuva" (o texto específico que eles estão procurando) é muito rara, as formas padrão de calcular "o quão certos estamos" (chamadas de Intervalos de Confiança) estão frequentemente quebradas. Elas são como uma régua que encolhe e estica de forma imprevisível.

As "Réguas Quebradas" (Métodos Antigos)
O artigo testa várias maneiras de medir essa certeza. Ele descobre que os dois métodos mais comuns usados hoje são como usar uma régua feita de borracha:

O Intervalo de Wald: Este é o método "dos livros didáticos". Funciona bem se você tiver uma multidão enorme e resultados médios. Mas, se você tiver um grupo pequeno ou uma pontuação muito alta (como 95%), essa régua encolhe demais. Ela diz: "Estamos 95% certos de que a pontuação está entre 94% e 96%", quando, na realidade, a pontuação real poderia estar em qualquer lugar entre 80% e 100%. Isso dá uma falsa sensação de precisão.
O Bootstrap Básico: Este é um método onde você simula o experimento milhares de vezes em um computador para ver o que acontece. O artigo descobre que a versão padrão deste também é "instável" e frequentemente subestima o risco, especialmente com grupos pequenos.

As "Melhores Réguas" (Novas Recomendações)
O artigo sugere trocar essas réguas de borracha por réguas mais robustas que não esticam tanto.

Para Textos Independentes (O Teste "Solo"): Se cada texto vem de uma pessoa diferente e é totalmente único, a autora recomenda o método Agresti-Coull. Pense nisso como adicionar um pouco de "amortecimento de segurança" ao seu cálculo. É simples, fácil de calcular e impede que a régua encolha demais.
Para Métricas Complexas (Como o F1): Algumas pontuações são combinações complexas de diferentes coisas (como a pontuação F1). Você não pode usar fórmulas simples para elas. A autora propõe um novo truque chamado Regularização de Pseudo-Contagem. Imagine que você está assando um bolo, mas está preocupado em não ter ingredientes suficientes. Você adiciona um "ingrediente fantasma" (um ovo imaginário e uma xícara de farinha imaginária) à sua mistura antes de começar. Isso estabiliza a receita para que seu resultado final não desmorone se você tiver apenas alguns ingredientes reais. Este método torna as simulações de computador muito mais confiáveis.

O Problema da "Câmara de Eco" (Dados Aninhados)
É aqui que as coisas ficam complicadas. Na vida real, as pessoas não escrevem apenas uma frase; elas escrevem muitas. Um terapeuta pode escrever 30 notas; um estudante pode escrever 20 ensaios. Esses textos estão "aninhados" dentro da pessoa. Eles não são independentes; eles compartilham a mesma voz, estilo e peculiaridades.

Esses textos são interdependentes. Se você tratar 30 notas de uma pessoa como se fossem 30 notas de 30 pessoas diferentes, você está trapaceando. Você está enganando a si mesmo, fazendo parecer que tem mais dados do que realmente tem. É como pedir a um amigo para provar seu bolo 30 vezes e contar isso como 30 opiniões diferentes. Você não está obtendo 30 opiniões; você está obtendo uma opinião repetida 30 vezes.

Quando você ignora esse efeito de "câmara de eco":

Seus intervalos de confiança tornam-se muito estreitos. Você pensa que está 95% certo, mas pode estar apenas 65% certo.
A Solução: O artigo sugere duas maneiras principais de corrigir isso:
1. Ajustar a Matemática: Use uma fórmula que reduza seu "tamanho de amostra efetivo" para levar em conta o fato de que os textos estão relacionados. É como dizer: "Temos 30 notas, mas como todas são da mesma pessoa, elas contam apenas como 10 opiniões independentes".
2. O Bootstrap Hierárquico: Em vez de apenas embaralhar notas individuais em uma simulação de computador, você embaralha as pessoas primeiro e, depois, embaralha as notas dentro delas. Isso respeita o fato de que as notas pertencem a uma pessoa específica.

A Grande Conclusão
A mensagem principal do artigo é um chamado pela honestidade no relato.

Não relate apenas a pontuação. Se você diz que seu computador tem 90% de precisão, você também deve dizer: "Estamos 95% certos de que o número real está entre X e Y".
Use as ferramentas certas. Não use as velhas réguas de borracha (Wald ou Bootstrap básico) para conjuntos de dados pequenos ou de alto desempenho. Use as mais robustas (Agresti-Coull ou o novo método de Pseudo-Contagem).
Cuidado com os agrupamentos. Se seus dados vêm das mesmas pessoas escrevendo várias vezes, você precisa ajustar sua matemática para evitar o excesso de confiança.

Ao usar esses métodos melhores, os pesquisadores podem parar de fingir que sabem mais do que sabem. Isso ajuda a perceber quando precisam coletar mais dados (mais pessoas, mais textos) para obter um resultado verdadeiramente confiável, em vez de apenas torcer para que seu pequeno tamanho de amostra seja suficiente.

Resumo Técnico: Estimando a Incerteza no Desempenho de Classificadores com Aplicações para Grandes Modelos de Linguagem e Dados Aninhados

Definição do Problema
Pesquisadores utilizam cada vez mais a classificação de textos — via modelos supervisionados ou Grandes Modelos de Linguagem (LLMs) — para extrair construtos de dados de linguagem natural. Embora métricas de desempenho, como recall, precisão e F1, sejam rotineiramente relatadas para validar esses modelos, elas são frequentemente apresentadas como estimativas pontuais sem o acompanhamento de medidas de incerteza estatística (por exemplo, intervalos de confiança ou erros padrão). Quando a incerteza é relatada, os métodos utilizados são frequentemente inapropriados para as condições específicas típicas da classificação de texto nas ciências sociais: tamanhos de amostra pequenos a moderados, construtos infrequentes (levando a contagens baixas de casos positivos), altas taxas de desempenho (comuns com LLMs) e estruturas de dados aninhadas (textos agrupados dentro de indivíduos). Métodos padrão, como o intervalo de Wald e o bootstrap de percentil básico, mostram-se inadequados para fornecer cobertura precisa, frequentemente situando-se significativamente abaixo do nível nominal de 95%, particularmente quando os tamanhos de amostra são pequenos ou as proporções são extremas. Alémém disso, os procedimentos padrão de estimativa de intervalo assumem observações independentes e identicamente distribuídas (i.i.d.), uma suposição violada quando os textos estão aninhados em indivíduos, o que leva a uma subestimativa da incerteza e a intervalos de confiança excessivamente estreitos.

Metodologia
O artigo emprega uma série de estudos de simulação para avaliar a cobertura e a largura de vários métodos de intervalo de confiança sob condições típicas de classificação de texto.

Simulações de Dados Independentes: Os autores simulam proporções binomiais ( $p$ ) variando de 0,5 a 0,95 e tamanhos de amostra ( $n$ ) de 10 a 500. Eles comparam intervalos analíticos (Wald, Wilson, Agresti-Coull, Clopper-Pearson) contra intervalos bootstrapped (percentil, BCa e um novo bootstrap regularizado por pseudo-contagem).
- Método Novel: Um "bootstrap regularizado por pseudo-contagem" é proposto. Isso envolve aumentar a amostra original com pseudo-observações (por exemplo, adicionando um sucesso e uma falha para proporções, ou adicionando pseudo-observações a cada quadrante da matriz de confusão para F1) antes da reamostragem. Isso mimetiza o comportamento do intervalo analítico Agresti-Coull dentro de uma estrutura de bootstrap.
- Avaliação de F1: Simulações específicas avaliam a cobertura do escore F1 variando a precisão e o recall verdadeiros em populações desbalanceadas (prevalência = 0,10).
Simulações de Dados Aninhados: Para abordar a não-independência, os autores simulam dados hierárquicos onde textos estão aninhados em indivíduos.
- Design: Uma população de 2000 indivíduos, cada um produzindo 60 textos, é gerada. Os esquemas de amostragem variam entre "corpus pequeno" (média de ~3 textos por indivíduo) e "corpus moderado" (média de ~30 textos por indivíduo).
- Métodos Testados: O estudo compara intervalos analíticos não ajustados, intervalos analíticos ajustados para tamanho de amostra efetivo ( $n_{eff}$ ) e graus de liberdade de design ( $df_{design}$ ), além de intervalos bootstrapped (bootstrap de cluster vs. bootstrap hierárquico).
- Ajustes: Para dados aninhados, o estudo testa ajustes usando o efeito de design (DEFF) baseado na correlação intra-classe (ICC) e o uso de quantis- $t$ em vez de quantis- $z$ para considerar a redução nos graus de liberdade.

Principais Contribuições

Comparação Sistemática: O artigo fornece uma avaliação sistemática da cobertura de intervalos de confiança especificamente adaptada para as condições de alto desempenho, amostras pequenas e dados aninhados prevalentes na classificação de texto das ciências sociais.
Identificação de Falhas Padrão: Demonstra que o intervalo de Wald e o bootstrap de percentil básico são os métodos menos precisos, frequentemente produzindo taxas de cobertura tão baixas quanto 0,40–0,66 em cenários com amostras pequenas e alto desempenho (ex: $p=0,95$ ).
Nova Regularização: Os autores introduzem e validam um bootstrap regularizado por pseudo-contagem. Este método melhora a cobertura para proporções e métricas não proporcionais (como F1) em amostras pequenas e regimes de alto desempenho, abordando o comportamento errático do bootstrapping padrão.
Orientação para Dados Aninhados: O estudo esclarece que, para dados aninhados, simplesmente aumentar o número de textos é insuficiente; ajustes para o tamanho de amostra efetivo e graus de liberdade de design são necessários. Compara o bootstrap de cluster com o hierárquico, encontrando que o bootstrap hierárquico é geralmente mais preciso, mas pode ser excessivamente conservador quando os indivíduos produzem muito poucos textos.
Planejamento de Tamanho de Amostra: O artigo fornece tabelas e visualizações ilustrando a relação entre tamanho de amostra, taxa de desempenho e largura do intervalo de confiança, destacando o alto custo de obter intervalos estreitos quando o desempenho é alto ou os tamanhos de amostra são pequenos.

Resultos

Dados Independentes: Os intervalos analíticos Agresti-Coull, Wilson e Clopper-Pearson alcançam consistentemente cobertura próxima ou acima do nível nominal de 0,95, mesmo com amostras pequenas. O bootstrap regularizado por pseudo-contagem apresenta desempenho comparável para proporções e é a única opção robusta para escores F1 em amostras pequenas. O Wald e o bootstrap de percentil básico apresentam consistentemente subcobertura.
Dados Aninhados: Intervalos não ajustados (tratando textos como independentes) apresentam subcobertura severa (ex: ~65% de cobertura quando se espera 95%) quando os textos estão aninhados.
- Ajustes: Intervalos ajustados para $n_{eff}$ e $df_{design}$ (especificamente usando fórmulas Agresti-Coull ou Wilson com estes ajustes) fornecem cobertura precisa.
- Desempenho do Bootstrap: O bootstrap hierárquico regularizado por pseudo-contagem fornece cobertura precisa em diversas condições. O bootstrap de cluster é mais preciso (intervalos mais estreitos), mas corre o risco de subcobertura, particularmente quando o número de textos por indivíduo é grande (~30) e o número de indivíduos é pequeno.
Sensibilidade ao Tamanho de Amostra: A largura dos intervalos de confiança é altamente sensível ao número de indivíduos em designs aninhados, e não apenas ao número total de textos. Aumentar o número de indivíduos gera maior precisão estatística do que aumentar o número de textos por indivíduo.

Significância e Alegações
O artigo argumenta que a magnitude de uma métrica de desempenho é insuficiente sem uma medida de sua precisão. A ausência de intervalos de confiança precisos ameaça a transparência das aplicações de aprendizado de máquina nas ciências sociais, podendo levar a uma confiança excessiva em inferências baseadas em modelos.

Os autores alegam que seu trabalho oferece recomendações baseadas em evidências para melhorar os padrões de relato:

Para dados independentes, o intervalo Agresti-Coull é recomendado como padrão devido à sua simplicidade e precisão, sendo o bootstrap regularizado por pseudo-contagem a alternativa preferida para métricas não proporcionais como F1.
Para dados aninhados, os analistas devem ajustar para o tamanho de amostra efetivo e graus de liberdade. O bootstrap hierárquico regularizado por pseudo-contagem é recomendado quando ajustes analíticos são inviáveis.
O artigo enfatiza a necessidade de pesquisadores considerarem os requisitos de tamanho de amostra na fase de design, notando particularmente que construtos raros e altos níveis de desempenho exigem um planejamento cuidadoso para garantir que haja "tamanhos de amostra analíticos" suficientes (ex: o número de casos positivos, não apenas o total de textos) para suportar inferências confiáveis.

Os autores observam modestamente as limitações, incluindo o fato de que suas simulações aninhadas assumem uma única estrutura de ICC e que o artigo foca na estimativa de incerteza, e não na estimativa não enviesada das métricas em si. Eles convocam trabalhos futuros para estabelecer benchmarks para valores comuns de ICC e faixas de desempenho para auxiliar ainda mais no design de estudos.

Mais como este