Statistical significance in choice modelling: computation, usage and reporting

Este artigo comenta o uso excessivo e muitas vezes impreciso da significância estatística na modelagem de escolhas, criticando a dependência de níveis de confiança fixos e a notação por asteriscos, enquanto defende uma abordagem mais rigorosa no cálculo e relato de incertezas e a consideração da significância comportamental e política, especialmente em relação a medidas derivadas e heterogeneidade aleatória.

O essencial

Imagine que você é um cozinheiro tentando descobrir a receita perfeita para um bolo. Você mistura ingredientes (os dados), assa o bolo (o modelo) e prova o resultado. Mas como você sabe se o sabor que você sentiu é realmente devido ao açúcar que você adicionou, ou se foi apenas um acaso do paladar?

Este artigo, escrito por um grupo de especialistas em "modelagem de escolha" (que é basicamente a ciência de prever como as pessoas tomam decisões, como escolher entre ônibus, carro ou trem), é um guia de sobrevivência para entender essa dúvida. Eles falam sobre significância estatística, mas de um jeito que a maioria dos livros técnicos não faz.

Aqui está a explicação, traduzida para a linguagem do dia a dia, usando analogias:

1. O Problema do "Acaso" (Incerteza)

Quando você faz um estudo, você não pergunta a todas as pessoas do mundo, apenas a uma amostra. É como tentar adivinhar o sabor do tempero de uma panela gigante provando apenas uma colher.

• A lição: O que você vê na sua colher (os seus resultados) pode ser diferente da panela inteira (a realidade). A "significância estatística" é apenas uma ferramenta para medir o quanto você pode confiar que o sabor que você provou não foi só sorte.

2. A Tirania do "95%" (O Limite Mágico)

A comunidade científica ficou obcecada com uma regra: se a chance de ser sorte for menor que 5% (ou seja, 95% de certeza), então o resultado é "significativo" e você pode colocar uma estrela (*) na tabela.

• A analogia: É como se um juiz dissesse: "Só vou condenar o suspeito se tiver 95% de certeza. Se tiver 94%, ele é inocente, ponto final."
• O problema: Os autores dizem que isso é perigoso. Às vezes, algo é muito importante para a sociedade (como o preço do combustível afetando quem usa o carro), mesmo que a "certeza matemática" seja de apenas 90%. Eles pedem para parar de tratar o 95% como uma linha mágica que separa o "verdadeiro" do "falso". Às vezes, um resultado com 94% de certeza ainda é muito útil para tomar decisões.

3. O Perigo das Estrelinhas (Asteriscos)

Muitos artigos usam asteriscos para mostrar o que é importante:

• * = Importante
• ** = Muito importante
• *** = Super importante
• A crítica: Os autores dizem que isso é como usar um semáforo cego. Se você só olhar para as estrelas, você perde a informação de quão importante é. É melhor olhar para o número real (o intervalo de confiança) para ver a margem de erro.
  • Exemplo: Dois ingredientes podem ter "três estrelas", mas um deles pode ter uma margem de erro tão grande que, na prática, você não sabe se ele deixa o bolo doce ou salgado. O outro pode ter uma margem de erro pequena e ser muito preciso. As estrelas escondem essa diferença crucial.

4. A Diferença entre "Existir" e "Importar"

Muitos pesquisadores ficam obcecados em provar que um efeito existe (é diferente de zero).

• A analogia: Imagine que você está testando se um novo remédio funciona. Você prova que ele funciona (existe um efeito). Mas e se o efeito for tão pequeno que você nem percebe a diferença?
• O conselho: Não basta saber que algo existe. Você precisa saber se ele é grande o suficiente para importar. Na modelagem de escolha, isso significa: "Esse fator muda a decisão das pessoas de forma relevante para a política pública?" Se sim, mantenha-o no modelo, mesmo que a estatística não esteja "perfeita".

5. O "Sanduíche" e o "Botão de Replay" (Métodos de Cálculo)

Para calcular o quanto podemos confiar nos resultados, os estatísticos usam fórmulas complexas.

• O Método Clássico: É como usar uma régua padrão. Funciona bem na maioria das vezes, mas se os dados forem estranhos (como pessoas fazendo várias escolhas seguidas), a régua pode errar.
• O Método "Sanduíche" (Robusto): É como usar uma régua de borracha que se adapta melhor a superfícies irregulares. Ela é mais segura quando os dados têm correlações estranhas.
• O "Botão de Replay" (Bootstrap): Imagine que você tem um dado. Em vez de jogá-lo uma vez, você joga 1.000 vezes no computador para ver o que acontece. Isso simula a realidade milhares de vezes para ver onde o resultado realmente cai. É mais trabalhoso, mas muito mais honesto.

6. O Exemplo Prático (O Teste de Choque)

Os autores fizeram um teste real com dados de viagens de trabalho.

• Eles descobriram que, ao usar o "Método Clássico", quase tudo parecia perfeito e significativo.
• Ao usar o "Método Robusto" ou o "Botão de Replay", alguns resultados que pareciam ótimos ficaram mais fracos (a certeza caiu de 99% para 96%).
• A lição: Se você usar apenas o método clássico, pode estar superestimando a confiança que tem nos seus resultados. É como achar que o tempo vai estar perfeito porque olhou apenas para o céu, sem verificar a previsão do tempo com radar.

Conclusão: O Que Fazer?

Os autores dão um conselho final para quem usa esses modelos:

1. Pare de ser obcecado pelo 95%: Às vezes, 90% é suficiente se o impacto for grande. Às vezes, 99% é inútil se o efeito for minúsculo.
2. Olhe além das estrelas: Mostre os números reais (erros padrão, intervalos de confiança). As estrelas escondem a verdade.
3. Pense no comportamento: Pergunte-se: "Isso faz sentido para o comportamento humano?" Se sim, mantenha no modelo, mesmo que a estatística esteja "trêmula".
4. Seja honesto sobre a incerteza: Não diga "é significativo". Diga "podemos rejeitar a ideia de que não há efeito com X% de confiança".

Em resumo, o artigo é um chamado para maturidade. Ele pede que os cientistas parem de usar a estatística como um jogo de "passou ou não passou" e comecem a usá-la como uma ferramenta para entender a complexidade e a incerteza do mundo real, onde as coisas raramente são preto no branco.

Resumo técnico

Resumo Técnico: Significância Estatística em Modelos de Escolha

1. O Problema

O artigo aborda a dependência excessiva e, frequentemente, mal compreendida do conceito de "significância estatística" na modelagem de escolhas (choice modelling). Os autores identificam várias lacunas críticas na prática atual da área:

• Foco Excessivo na Existência vs. Magnitude: Há uma tendência de focar se um efeito existe (diferente de zero) em vez de quão grande ou importante esse efeito é para o comportamento ou políticas públicas.
• Má Interpretação de Testes: Confusões comuns sobre o significado de valores-p (p-values), incluindo a falácia do condicional transposto (confundir a probabilidade dos dados dado o modelo com a probabilidade do modelo dado os dados).
• Relatórios Imprecisos: Uso inadequado de níveis de confiança rígidos (95%), relatórios de valores-p com pouca precisão numérica e o uso excessivo de "estrelas" (*) para denotar significância, o que impede a reprodutibilidade e o cálculo de intervalos de confiança.
• Especificidades do Campo: A modelagem de escolhas possui características únicas (como heterogeneidade aleatória, dados de painel e medidas derivadas como Disposição a Pagar - WTP) que exigem tratamentos estatísticos específicos, muitas vezes ignorados por analistas com formação econométrica limitada.

2. Metodologia

O artigo não apresenta um novo modelo econométrico, mas sim uma revisão metodológica rigorosa e um estudo empílico ilustrativo. A abordagem divide-se em:

Revisão Teórica

• Fundamentos da Incerteza: Discute a diferença entre erro de amostragem e incerteza paramétrica, baseando-se na teoria da estimação de máxima verossimilhança (MLE) e propriedades assintóticas.
• Covariância e Erros Padrão: Analisa diferentes estimadores de matriz de covariância: Clássico (Hessiana inversa), Robusto (Sanduíche/BHHH) e Bootstrapping. Discute a importância de corrigir erros padrão em dados de painel (escolhas repetidas) para evitar subestimação da variância.
• Transformações de Parâmetros: Aborda o uso do Método Delta para calcular erros em funções de parâmetros (como WTP) e a complexidade adicional quando os coeficientes são distribuídos aleatoriamente (heterogeneidade).
• Testes de Hipóteses: Examina a "trindade" de testes (Likelihood Ratio, Wald e Lagrange Multiplier), suas equivalências assintóticas e divergências em amostras finitas. Discute a formulação de hipóteses nulas e alternativas, defendendo o uso de testes unilaterais quando há suposições a priori sobre o sinal dos parâmetros (ex: custo deve ser negativo).
• Intervalos de Confiança (IC): Compara ICs assintóticos (baseados em normalidade) com ICs empíricos via bootstrapping, destacando que a distribuição dos estimadores nem sempre é simétrica ou normal, especialmente longe do ótimo.

Estudo Empírico

• Dados: Utiliza dados de uma pesquisa de preferência revelada (RP) do projeto DECISIONS (Universidade de Leeds), focando em 3.438 viagens de trabalho de 358 indivíduos.
• Modelo: Um modelo Logit Multinomial (MNL) linear em atributos (tempo, custo).
• Procedimento: Estimação do modelo com cálculo de erros padrão clássicos, robustos e via bootstrapping (400 amostras).
• Análise Comparativa: Os autores comparam os resultados de testes t, valores-p (unilaterais e bilaterais), testes LR e LM, e intervalos de confiança para todos os parâmetros, incluindo constantes específicas de alternativa (ASC) e coeficientes de tempo/custo.

3. Principais Contribuições

O artigo oferece diretrizes técnicas e conceituais para melhorar a prática na modelagem de escolhas:

1. Distinção entre Significância e Precisão: Demonstra que um parâmetro pode ser estatisticamente significativo (rejeitar $H_0: \beta=0$) mas ter um intervalo de confiança tão amplo que a estimativa é inútil para políticas públicas. A precisão (largura do IC) é frequentemente mais importante que a significância binária.
2. Crítica ao Limiar de 95%: Argumenta contra o uso mecânico de $\alpha = 0.05$. Em grandes bases de dados, quase tudo é "significativo", enquanto em dados pequenos, parâmetros comportamentalmente relevantes podem ser rejeitados erroneamente. Defende a consideração da importância comportamental e de políticas.
3. Uso de Testes Unilaterais: Recomenda o uso de testes unilaterais para parâmetros com sinal conhecido a priori (ex: coeficiente de custo), pois testes bilaterais dobram o valor-p, aumentando o risco de erro Tipo II (excluir variáveis importantes).
4. Tratamento de Dados de Painel e Heterogeneidade: Enfatiza a necessidade de usar erros padrão robustos ou bootstrapping ao nível do indivíduo (não da observação) para dados de escolhas repetidas, e a distinção clara entre incerteza paramétrica e heterogeneidade de preferências.
5. Melhores Práticas de Relato:
   • Evitar o uso exclusivo de "estrelas" (*, **, ***).
   • Reportar sempre erros padrão ou t-ratios junto com valores-p.
   • Especificar claramente se o teste é unilateral ou bilateral.
   • Manter precisão numérica adequada (pelo menos dois dígitos significativos).
6. Validação de Modelos: Discute a aplicação de testes LR para modelos aninhados e o uso de critérios de informação (AIC/BIC) ou testes de Ben-Akiva & Swait para modelos não aninhados.

4. Resultados do Estudo Empírico

A aplicação prática no conjunto de dados de transporte revelou:

• Divergência de Erros Padrão: Os erros padrão robustos e de bootstrapping foram substancialmente maiores que os clássicos (em média 1,8 a 3 vezes maiores), indicando que a correlação intra-indivíduo não tratada no modelo MNL simples levou a uma subestimação da incerteza.
• Inconsistência nos Testes: Para alguns parâmetros (ex: tempo de viagem de trem), testes clássicos rejeitaram a hipótese nula a 99% de confiança, enquanto testes robustos e de bootstrapping reduziram essa confiança para 96-97%. Isso ilustra como a escolha do método de teste altera a conclusão sobre a significância.
• Relevância vs. Significância: O coeficiente de tempo de táxi não foi estatisticamente significativo em nenhum teste, mas os autores argumentam que ele deve ser mantido no modelo devido à sua relevância política e comportamental, evitando a exclusão de variáveis críticas apenas por falha estatística.
• Assimetria dos Intervalos: Os intervalos de confiança bootstrap mostraram-se frequentemente assimétricos em relação à estimativa pontual (MLE), desafiando a suposição de normalidade assintótica usada nos intervalos clássicos.
• Precisão Variável: Parâmetros com alta significância (t-ratios altos) apresentaram larguras de intervalos de confiança muito diferentes (ex: 15% vs 44% da estimativa), reforçando que significância não garante precisão.

5. Significância e Conclusões

O artigo é fundamental para a comunidade de modelagem de escolhas por:

• Elevar o Rigor Científico: Combate práticas de "p-hacking" e relatórios superficiais, incentivando uma interpretação mais profunda dos resultados.
• Ponte entre Teoria e Prática: Conecta conceitos econométricos avançados (como a trindade de testes e propriedades assintóticas) com as necessidades práticas de analistas que usam modelos para prever demandas e avaliar políticas.
• Mudança de Paradigma: Sugere uma transição de uma visão binária ("significativo/não significativo") para uma visão contínua baseada na magnitude do efeito, na precisão da estimativa e na relevância prática.
• Recomendação Final: Os autores concluem que, embora a significância estatística não deva ser o único critério, ela deve ser relatada com precisão, contexto e linguagem correta (ex: "rejeitamos a hipótese nula" em vez de "o parâmetro é significativo"). A ênfase deve ser colocada na importância comportamental e de políticas, reconhecendo que a ausência de significância estatística não implica necessariamente a ausência de um efeito real, especialmente em amostras pequenas ou com alta variabilidade.

O trabalho serve como um guia essencial para pesquisadores, revisores e editores, visando melhorar a qualidade e a confiabilidade dos estudos de modelagem de escolhas.