Verifying the existence of maximum likelihood estimates for generalized linear models

Este artigo investiga as condições que garantem a existência de estimadores de máxima verossimilhança em modelos lineares generalizados, demonstrando que, mesmo quando essas condições falham, alguns parâmetros podem ainda ser estimados de forma consistente, e apresenta métodos para verificar tais condições em modelos com alta dimensionalidade, como dados de painel com efeitos fixos múltiplos.

O essencial

Imagine que você é um cozinheiro tentando criar a receita perfeita para um prato complexo (um modelo estatístico) usando ingredientes específicos (seus dados). O objetivo é ajustar os temperos (os parâmetros do modelo) para que o prato fique exatamente como a maioria das pessoas gosta.

Na economia e nas ciências sociais, os pesquisadores usam uma técnica chamada "Máxima Verossimilhança" para encontrar essa receita perfeita. Basicamente, é um processo de tentativa e erro matemático para ver qual combinação de ingredientes explica melhor os dados que você coletou.

O problema que este artigo resolve é o seguinte: às vezes, a receita perfeita simplesmente não existe.

O Problema da "Separação" (O Muro Invisível)

Imagine que você está tentando prever se um cliente vai comprar um carro (1) ou não (0). Você usa dados como idade, salário e localização.

Agora, imagine que, por acaso, todos os clientes que ganharam mais de 1 milhão de dólares compraram um carro, e nenhum cliente que ganhou menos de 1 milhão comprou.

Se você tentar ajustar sua receita matemática para essa situação, o computador vai entrar em pânico. Para explicar perfeitamente essa separação, o "tempero" (o coeficiente matemático) para a variável "salário" teria que ser infinito. O computador tenta aumentar esse número para sempre, tentando chegar a um ajuste perfeito, mas nunca para. Ele fica preso num loop infinito, como um carro tentando subir uma montanha que nunca termina.

Isso é chamado de Separação. Em modelos mais complexos (como os que analisam comércio entre países ou custos de saúde), isso pode acontecer de formas mais sutis e difíceis de detectar, especialmente quando há muitos "efeitos fixos" (como controlar por país, ano, empresa, etc.).

A Descoberta dos Autores

Os autores (Sergio Correia, Paulo Guimarães e Tom Zylkin) dizem: "Ei, isso não é apenas um problema de modelos binários (sim/não). Acontece em modelos de contagem (como número de exportações) e em modelos com muitos dados complexos também."

Eles fazem três coisas principais:

1. Mapeiam o Perigo: Eles mostram que alguns modelos (como o Poisson) são mais resistentes a esse problema do que outros (como o Gamma). Se você usar o modelo errado em dados com muitos zeros, sua receita pode explodir na sua mão.

2. A Solução "Cortar o Que Não Serve": A grande sacada deles é: não tente forçar o computador a calcular o infinito.

   • Pense nos dados que causam o problema como "alunos que já sabem a resposta de cor". Se um aluno acertou tudo porque a pergunta era óbvia, ele não nos ensina nada sobre a dificuldade da prova.
   • A solução é identificar esses "alunos óbvios" (as observações separadas), removê-los da sala de aula (do cálculo) e refazer a prova apenas com os alunos que realmente precisam de ajuda.
   • O milagre é que, ao fazer isso, você consegue calcular os resultados para todos os outros alunos perfeitamente, sem distorcer a média. O modelo funciona, e você sabe exatamente quem foi removido.

3. O Novo Detector de Radar (Iterative Rectifier):

   • Antigamente, encontrar esses "alunos óbvios" em grandes bases de dados (com milhões de linhas) era como procurar uma agulha num palheiro usando uma lupa. Era lento e caro.
   • Eles criaram um novo algoritmo chamado "Iterative Rectifier" (Retificador Iterativo).
   • A Analogia: Imagine que você tem um detector de metal. Em vez de varrer o chão inteiro lentamente, você usa um ímã superpotente que puxa todos os objetos metálicos de uma vez só, separando-os do resto da areia em segundos.
   • Esse novo método é rápido, funciona em computadores comuns e consegue lidar com modelos gigantes que têm milhares de variáveis (como dados de comércio global).

Por que isso importa para você?

Se você é um pesquisador, economista ou alguém que trabalha com dados:

• Evite ilusões: Sem esse cuidado, seu computador pode te dar um número "falso" (como 11.3403*** no exemplo do artigo) que parece estatisticamente significativo, mas é apenas um erro numérico. É como se o computador dissesse "o preço é infinito" e você escrevesse isso no seu relatório como se fosse um fato.
• Confiança: Agora, você pode rodar seus modelos complexos, saber se há problemas, limpar os dados automaticamente e ter certeza de que os resultados que restam são verdadeiros e confiáveis.

Resumo da Ópera:
O artigo ensina que, às vezes, a matemática tenta resolver um problema impossível (o infinito). A solução não é lutar contra o infinito, mas sim identificar quais dados estão causando essa loucura, tirá-los da equação e calcular o resto com tranquilidade. E eles criaram uma ferramenta rápida e barata para fazer essa "faxina" em qualquer tamanho de dados.

Resumo técnico

Resumo Técnico: Verificação da Existência de Estimativas de Máxima Verossimilhança em Modelos Lineares Generalizados (GLMs)

1. O Problema

Um problema fundamental em modelos não lineares, especificamente nos Modelos Lineares Generalizados (GLMs), é que as estimativas de Máxima Verossimilhança (ML) ou de Máxima Verossimilhança Pseudo (PML) não são garantidas de existir.

• Separação (Separability): Ocorre quando uma combinação linear das variáveis explicativas (regressores) separa perfeitamente as observações com valores de resultado zero (ou no limite superior) das observações com valores internos. Nesses casos, o algoritmo de otimização tenta enviar os coeficientes para infinito, resultando em não convergência ou estimativas numéricas instáveis.
• Contexto Atual: Embora bem conhecido em modelos de resposta binária (Logit/Probit), o problema é frequentemente ignorado ou mal compreendido em modelos de contagem (Poisson) e outros GLMs não binários, especialmente em economometria aplicada.
• Desafio de Alta Dimensão: A situação é agravada em modelos com efeitos fixos de alta dimensão (múltiplos níveis de efeitos fixos, comuns em dados de painel e modelos de gravidade no comércio internacional). A detecção de separação nestes contextos é computacionalmente proibitiva usando métodos tradicionais de programação linear.

2. Metodologia e Fundamentação Teórica

Os autores baseiam-se e expandem trabalhos anteriores (Verbeek, 1989; Aickin, 1979; Geyer, 1990) para estabelecer condições rigorosas de existência e não existência.

A. Condições de Existência (Proposição 1):
Para uma classe ampla de GLMs onde a contribuição da verossimilhança individual tem um limite superior finito (ex: Poisson, Logit, Probit, Binomial Negativo), a estimativa não existe se e somente se existir um vetor não nulo $\gamma^*$ tal que a combinação linear $z_i = x_i\gamma^*$ satisfaça:

1. $z_i = 0$ para todas as observações onde $0 < y_i < y$ (valores internos).
2. $z_i \ge 0$ para todas as observações onde $y_i = y$ (limite superior, se aplicável).
3. $z_i \le 0$ para todas as observações onde $y_i = 0$.

Se tal vetor existir, a função de verossimilhança cresce indefinidamente na direção de $\gamma^*$, e não há solução finita.

B. Casos Específicos: Gamma e Inverse Gaussian PML (Proposição 2):
Os autores demonstram que estimadores como Gamma PML e Inverse Gaussian PML (comuns em economia da saúde e comércio) possuem condições de existência mais restritivas do que o Poisson.

• Como a função de verossimilhança para $y_i=0$ nestes modelos pode tender a infinito quando o preditor linear tende a $-\infty$, a simples sobreposição (overlap) dos dados não garante a existência da solução.
• Isso implica que o uso de Gamma PML em dados com muitos zeros (comum em comércio internacional) é arriscado e pode falhar mesmo quando o Poisson funcionaria.

C. Solução Teórica: Omissão de Observações Separadas (Proposição 3):
Uma contribuição teórica crucial é a demonstração de que, mesmo quando a separação ocorre:

• É possível estimar consistentemente os parâmetros lineares que não estão envolvidos na separação.
• A solução correta é remover as observações separadas do conjunto de dados de estimação.
• Ao remover essas observações, o problema de "não existência" transforma-se em um problema de colinearidade perfeita dentro do subconjunto restante.
• Os coeficientes dos regressores não envolvidos na separação permanecem inalterados e consistentes. Os coeficientes envolvidos na separação tendem ao infinito, mas suas combinações lineares finitas podem ser inferidas.

3. Contribuições Principais e Algoritmo Proposto

A. O Algoritmo "Iterative Rectifier" (IR):
Para resolver o problema prático de detectar separação em modelos com efeitos fixos de alta dimensão (onde a programação linear tradicional falha devido à maldição da dimensionalidade), os autores propõem um novo algoritmo:

• Mecanismo: Utiliza regressões de Mínimos Quadrados Ponderados (WLS) iterativas combinadas com uma função de "retificador linear" (função min).
• Funcionamento:
  1. Define-se uma variável artificial $u_i$ (negativa para $y_i=0$, zero para $y_i>0$) e pesos grandes para as observações positivas.
  2. Regressa-se $u_i$ sobre $x_i$ com pesos.
  3. Atualiza-se iterativamente $u_i$ para manter as previsões não positivas para $y_i=0$.
  4. O algoritmo converge para identificar todas as observações separadas (onde a previsão é estritamente negativa) e as não separadas (previsão zero).
• Vantagem Computacional: Baseia-se em inovações recentes (Correia, 2017) que permitem resolver problemas de mínimos quadrados de alta dimensão em tempo quase linear, evitando a inversão de matrizes grandes típicas de solvers de programação linear.

B. Implementação Prática:

• O método é implementado no comando Stata ppmlhdfe (via opção sep(ir)).
• O algoritmo detecta a separação ex ante (antes da estimação final), permitindo que o pesquisador remova as observações problemáticas e obtenha estimativas válidas para o restante do modelo.

4. Resultados Empíricos

Os autores aplicam o método a um exemplo real baseado em Baier et al. (2019), que estuda a heterogeneidade dos efeitos de Acordos de Livre Comércio (FTA) usando Poisson PML com efeitos fixos triplamente indexados (origem, destino, tempo).

• Cenário: O modelo tentava estimar o efeito de um FTA entre Islândia e Romênia. Como não havia exportações da Islândia para a Romênia antes de 1993, essas observações estavam perfeitamente separadas.
• Falha dos Métodos Atuais:
  • Estimação padrão sem verificação: Produz um coeficiente finito, mas arbitrário e enganoso (ex: 11.34), que parece estatisticamente significativo, mas é um "ilusão numérica".
  • Método de Santos Silva e Tenreyro (2010): Detecta colinearidade, mas falha em identificar a combinação específica de regressores que causa a separação neste contexto de alta dimensão, não removendo as observações corretamente.
• Sucesso do Método IR:
  • O algoritmo Iterative Rectifier identificou corretamente as 7 observações separadas (Islândia-Romênia pré-1993) e mais 42 observações de pares que nunca comerciam.
  • Ao remover essas observações, o modelo convergiu perfeitamente.
  • Resultado Chave: As estimativas dos coeficientes dos outros FTAs e seus erros padrão não foram alterados pela remoção das observações separadas, confirmando a teoria de que os parâmetros estimáveis são consistentes independentemente das observações separadas.

5. Significado e Implicações

1. Clarificação Teórica: O artigo resolve ambiguidades sobre a existência de estimativas em GLMs não binários e destaca que estimadores como Gamma PML são mais suscetíveis a falhas de existência do que o Poisson.
2. Viabilidade Computacional: Apresenta a primeira solução escalável para detectar separação em modelos com efeitos fixos de alta dimensão, um problema que anteriormente era considerado intratável computacionalmente.
3. Recomendação Prática: Os autores recomendam fortemente a remoção de observações separadas em vez de penalizar a função de verossimilhança (métodos Bayesianos ou Firth) ou simplesmente ignorar o problema. A remoção preserva a consistência dos parâmetros de interesse e a qualidade do ajuste do modelo para as observações não separadas.
4. Impacto na Pesquisa: O método é essencial para a literatura de comércio internacional (modelos de gravidade), saúde e outras áreas que utilizam dados de contagem com muitos zeros e efeitos fixos complexos, evitando conclusões empíricas enviesadas baseadas em estimativas numéricas espúrias.

Em suma, o papel fornece tanto a fundamentação teórica necessária quanto a ferramenta computacional prática para garantir a robustez das estimativas em uma vasta classe de modelos econométricos modernos.