📊 statistics

A General Framework for Stability Assessment of Non-Deterministic Prediction Models

Este artigo propõe uma estrutura geral para quantificar a estabilidade de modelos de predição não determinísticos através de resultados métricos, categóricos e ordinais, introduzindo medidas de estabilidade baseadas em dados e no modelo que superam as limitações dos métodos existentes, tais como a sua incapacidade de lidar com objetos de teste individuais e a sua sensibilidade à composição dos dados.

Autores originais: Thomas Martin Lange, Armin Otto Schmitt, Felix Heinrich

Publicado 2026-07-30

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Thomas Martin Lange, Armin Otto Schmitt, Felix Heinrich

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando prever o tempo. Você faz uma pergunta a um meteorologista muito inteligente para obter uma previsão, e ele diz: "Vai chover amanhã". Mas então, você pede a ele para executar exatamente o mesmo cálculo novamente, usando exatamente os mesmos dados, e desta vez ele diz: "Estará ensolarado". Se você perguntar uma terceira vez, ele pode dizer: "Talvez uma garoa leve". Isso não é porque o meteorologista está confuso; é porque o cére% de cérebro dele funciona um pouco como uma máquina caça-níqueis. Cada vez que ele puxa a alavanca (executa o modelo), ocorre um pequeno giro aleatório que muda o resultado um pouco. No mundo da ciência da computação, isso é chamado de um modelo "não determinístico". É uma forma elegante de dizer que o computador usa um pouco de aleatoriedade para tomar suas decisões, o que é, na verdade, algo bom para fazer palpites inteligentes, mas cria uma dor de cabeça: se a resposta muda toda vez que você pergunta, como você pode confiar nela?

Este é o quebra-cabeça que os pesquisadores Thomas Martin Lange, Armin Otto Schmitt e Felix Heinrich estão enfrentando. Eles estão trabalhando no campo da modelagem preditiva, onde computadores aprendem com dados passados para adivinhar resultados futuros — como quanto milho uma fazenda irá produzir, o quão doente um paciente pode ficar ou o que o mercado de ações fará. O grande problema que eles estão resolvendo é a "estabilidade". Se você constrói uma máquina de previsão que lhe dá uma resposta diferente toda vez que a liga, ela é confiável? As formas antigas de verificar essa confiabilidade eram como tentar medir a estabilidade de um único lançamento de moeda observando um saco inteiro de moedas. Elas funcionavam bem para algumas situações, mas falhavam quando você tinha apenas uma coisa para prever (como um único evento futuro) ou quando as respostas eram complicadas, como classificar coisas de "muito cedo" para "muito tarde".

Os autores deste artigo construíram uma régua nova e mais flexível para medir o quão estáveis são essas máquinas de previsão instáveis. Eles não apenas encontraram uma régua melhor; eles inventaram duas novas formas de segurá-la. A primeira forma, que eles chamam de estabilidade "baseada em dados", pergunta: "Quanto a resposta deste modelo oscila em comparação com a variedade selvagem de respostas que vimos nos dados de treinamento?". É como verificar se um jogador de dardos está lançando de forma desordenada em comparação com todo o alcance do alvo. A segunda forma, a estabilidade "baseada no modelo", faz uma pergunta mais profunda: "Quanto a própria lógica interna do modelo oscila?". Isso é como verificar se o jogador de dardos está lançando de forma desordenada em comparação com sua própria média pessoal, independentemente do tamanho do alvo.

Os pesquisadores testaram essas novas réguas usando um parquinho digital onde simularam milhares de cenários. Eles criaram dados falsos para coisas como rendimentos de colheitas e pontuações de doenças, depois rodaram seus modelos de previsão repetidas vezes, alterando o número de "árvores de decisão" (as células cerebrais do modelo) de algumas centenas a dez mil. Eles descobriram que suas novas réguas funcionaram maravilhosamente. Ao contrário das réguas antigas, que ficavam confusas e davam resultados estranhos quando os dados de teste eram desequilibrados (como ter muito mais dias "ensolarados" do que "chuvosos") ou quando havia apenas um objeto para prever, as novas réguas permaneceram constantes. Elas mostraram uma curva clara e suave: conforme você adicionava mais "células cerebrais" ao modelo, as previsões tornavam-se mais estáveis, assim como adicionar mais pessoas a um coro faz com que o canto soe mais consistente.

No entanto, o artigo também nos avisa que nem todas as réguas são criadas iguais. Em suas simulações, eles descobriram que os métodos antigos às vezes mentiam. Por exemplo, se um modelo prevê a mesma coisa para todos (um problema comum quando os dados são desequilibrados), a régua antiga diria que o modelo é perfeitamente estável, mesmo que estivesse sendo preguiçoso. As novas réguas detectaram isso, mostrando que o modelo era realmente estável porque era consistente, mas fizeram isso de uma forma que fazia sentido matematicamente. Eles também descobriram que, quando você tem um grupo de teste minúsculo (como apenas dois ou três objetos), a régua antiga enlouquecia, saltando para cima e para baixo de forma selvagem. As novas réguas, especialmente a "baseada no modelo", permaneceram calmas e confiáveis, mesmo com grupos muito pequenos.

Os autores não pararam apenas na teoria; eles construíram uma ferramenta chamada pacote "APS" para a linguagem de programação R, que qualquer pessoa pode usar para verificar seus próprios modelos. Eles sugerem que, embora geralmente só nos importemos se um modelo é preciso (ele acertou a resposta?), também devemos nos importar se ele é estável (ele dá a mesma resposta certa todas as vezes?). O trabalho deles sugere que, ao usar essas novas medidas, podemos encontrar o "ponto ideal" para o quão complexo um modelo precisa ser — adicionando complexidade suficiente para ser inteligente, mas não tanto que se torne um caos agitado. É um lembrete de que, no mundo da IA, a consistência é tão importante quanto a correção e, agora, finalmente temos uma maneira melhor de medi-la.

Resumo Técnico: Um Framework Geral para Avaliação de Estabilidade de Modelos de Predição Não-Determinísticos

Definição do Problema
Modelos de predição modernos, incluindo Florestas Aleatórias (Random Forests), Redes Neurais Artificiais e modelos Bayesianos, são inerentemente não-determinísticos. Elementos estocásticos em seus procedimentos de ajuste (por exemplo, amostragem bootstrap, inicialização aleatória de pesos ou amostragem de Markov Chain Monte Carlo) significam que o treinamento repetido sobre dados idênticos pode gerar modelos e predições diferentes. Essa variabilidade pode levar a decisões inconsistentes, embora os métodos existentes para quantificar essa "estabilidade de predição" sejam insuficientes.

As abordagens atuais baseiam-se no Coeficiente de Correlação Intraclasse (ICC) para predições métricas e no $\kappa$ de Fleiss para predições categóricas. Esses métodos sofrem de três limitações críticas:

Inaplicabilidade a Objetos Únicos: Tanto o ICC quanto o $\kappa$ de Fleiss exigem múltiplos objetos em um conjunto de teste para estimar componentes de variância ou concordância esperada por acaso. Eles não podem quantificar a estabilidade para tarefas de previsão de objeto único (por exemplo, prever um PIB futuro ou uma taxa epidêmica).
Tipos de Predição Restritos: Eles não se estendem naturalmente para predições ordinais, que possuem uma ordem natural, mas não são puramente nominais ou métricas.
Sensibilidade à Estrutura dos Dados: Essas medidas são fortemente influenciadas pela composição dos dados de teste. O $\kappa$ de Fleiss é suscetível ao "problema da prevalência" (o paradoxo do $\kappa$ ), onde distribuições de classes desbalanceadas reduzem artificialmente os escores de estabilidade, mesmo quando as predições são consistentes. Da mesma forma, as estimativas do ICC são pouco confiáveis com conjuntos de teste pequenos ou homogêneos.

Metodologia
Os autores propõem um framework geral para quantificar a estabilidade de predição baseado no $\alpha$ de Krippendorff, adaptado para distinguir entre instabilidade observada e instabilidade esperada. A definição central de estabilidade de predição ( $S$ ) é:
$S = 1 - \frac{D_o}{D_e}$
onde $D_o$ é o desacordo observado (instabilidade) através de ajustes de modelo repetidos, e $D_e$ é o desacordo esperado sob um modelo de referência de instabilidade.

O framework introduz duas definições distintas de instabilidade esperada, levando a duas medidas de estabilidade complementares:

Estabilidade de Predição Baseada em Dados ( $\phi$ ):
- Conceito: Assume que a instabilidade máxima é limitada pela distribuição da variável resposta nos dados de treinamento.
- Cálculo: $D_e$ é derivado da distribuição empírica das respostas de treinamento. Para dados categóricos, utiliza proporções de categorias; para dados ordinais, utiliza uma função de distância ordinal ponderada pelas frequências de categoria; para dados métricos, utiliza a variância das respostas de treinamento.
- Aplicabilidade: Adequado quando as predições do modelo são restringidas pelo intervalo de predição observado (por exemplo, regressão de Random Forest padrão).
Estabilidade de Predição Baseada no Modelo ( $\psi$ ):
- Conceço: Assume que a instabilidade máxima é determinada pela distribuição de predições que o próprio modelo pode gerar.
- Cálculo: $D_e$ é derivado de uma aproximação empírica da distribuição preditiva do modelo. Isso é alcançado usando predições fora da amostra (por exemplo, predições Out-of-Bag para Random Forests ou validação cruzada K-fold) para evitar viés otimista.
- Aplicabilidade: Necessário quando o comportamento preditivo do modelo restringe o intervalo de predições em comparação com o intervalo bruto dos dados de treinamento (por exemplo, a média de nós terminais em Random Forests).

Principais Contribuições

Generalização para Objetos Únicos: Diferente do ICC e do $\kappa$ de Fleiss, as medidas propostas ( $\phi$ e $\psi$ ) são definidas ao nível do objeto, permitindo a avaliação de estabilidade para um único objeto de teste.
Extensão para Dados Ordinais: O framework incorpora funções de distância ordinal, permitendo a avaliação de estabilidade para respostas categóricas ordenadas.
Robustez à Estrutura de Dados: Ao desacoplar a instabilidade esperada da composição específica dos dados de teste (usando os dados de treinamento ou o comportamento do modelo como referência), as medidas são menos sensíveis ao desbalanceamento de classes e a tamanhos pequenos de amostra.
Implementação: O framework está implementado no pacote R APS (versão 1.0.1), disponível no CRAN.

Resultos
Estudos de simulação utilizando Random Forests (com variando o número de árvores) e três tipos de resposta (métrica, valor inteiro/ordinal e categórica) produziram o seguinte:

Relacionamento Não-Linear: Tanto $\phi$ quanto $\psi$ exibem um relacionamento não-linear com o número de aprendizes (árvores), que pode ser modelado precisamente usando um modelo logístico de dois parâmetros (2PL). Isso permite a otimização do número de árvores para atingir um limiar de estabilidade desejado.
Problema da Prevalência: Em cenários com distribuições de classe altamente desbalanceadas:
- O $\kappa$ de Fleiss falhou em refletir a estabilidade, frequentemente permanecendo próximo a zero ou tornando-se indefinido quando todas as predições convergiam para uma única classe.
- $\phi$ e $\psi$ identificaram corretamente alta estabilidade (aproximando-se de 1) quando as predições eram consistentes, mesmo sob prevalência extrema.
Tamanhos de Amostra Pequenos: Quando testados em subamostras pequenas de dados de teste (2–30 objetos):
- O ICC mostrou alta variabilidade e viés descendente com menos de 15 objetos.
- $\psi$ (baseada no modelo) e $\phi$ (baseada em dados) mantiveram valores médios estáveis e reduziram significativamente a variância (por exemplo, $\psi$ mostrou uma redução de sete vezes no desvio padrão em comparação ao ICC com 2 objetos).
Diferenças de Otimização: Embora todas as medidas tenham seguido uma tendência 2PL, elas sugeriram números diferentes de árvores ideais. Por exemplo, no cenário de prevalência, $\phi$ sugeriu ~3.000 árvores, enquanto o $\kappa$ de Fleiss sugeriu ~68.000 (ou tornou-se indefinido), destacando que a escolha da medida influencia os resultados de otimização.

Significância e Alegações
O artigo afirma fornecer uma "abordagem fundamentada" para quantificar a reprodutibilidade de modelos de predição não-determinísticos, um aspecto frequentemente negligenciado em favor da precisão da predição. Os autores enfatizam que:

A avaliação da estabilidade é crítica para a confiabilidade da tomada de decisão, particularmente em cenários de previsão de objeto único, onde métricas tradicionais falham.
As medidas propostas mitigam o "problema da prevalência" e a sensibilidade ao tamanho do conjunto de teste que assolam os coeficientes de concordância existentes.
A distinção entre estabilidade baseada em dados e baseada no modelo permite que pesquisadores escolham uma distribuição de referência que se alinhe ao seu contexto de modelagem específico (variabilidade inerente aos dados versus variabilidade induzida pelo modelo).
O framework é agnóstico ao modelo e aplicável a qualquer modelo não-determinístico, embora as simulações tenham focado em Random Forests.

Os autores concluem que a avaliação de modelos não-determinísticos não deve depender apenas da precisão, mas deve incluir uma avaliação formal da estabilidade de predição para garantir a consistência das decisões.

Mais como este