Resumo Técnico: Regressão Polinomial com Bagging Aplicada à Predição Ambiental

1. Definição do Problema

Redes neurais profundas (NNs) tornaram-se o padrão para predição de alta dimensão na economia ambiental, como detecção de inundações, previsão de incêndios florestais e previsão de rendimento de safras. Embora as NNs ofereçam precisão superior através da sobreparametrização, elas funcionam como "caixas pretas", tornando-as difíceis de auditar, alinhar com o conhecimento de domínio ou utilizar para o desenho de políticas onde a interpretabilidade é exigida.

A regressão polinomial padrão oferece uma alternativa transparente, baseada em coeficientes, mas sofre com a "maldição da dimensionalidade". À medida que o número de covariáveis ($d$) e o grau polinomial ($J$) aumentam, o número de termos da base do dicionário ($k$) explode (ex: $k \approx (J+1)^d$). Isso leva a:

1. Intratabilidade computacional: Inverter matrizes $k \times k$ torna-se impossível.
2. Taxas de convergência lentas: O tamanho da amostra necessário para uma estimativa consistente cresce exponencialmente com a dimensão, tornando a regressão polinomial padrão impraticável para cenários de alta dimensão.

O artigo busca um método de ensemble nativo da econometria que retenha a interpretabilidade dos modelos polinomiais enquanto alcança uma precisão preditiva competitiva em ambientes de alta dimensão.

2. Metodologia

Estrutura Teórica: Estimadores de Séries Particionados

Os autores baseiam-se na literatura de regressão de séries/sieve (Newey, Stone) para derivar limites de risco $L_2$ assintóticos e de amostra finita. Eles introduzem a Regressão Polinomial Particionada (PPR), onde as covariáveis são divididas em $B$ grupos, e as características polinomiais são construídas independentemente dentro de cada grupo, em vez de ocorrerem através de todas as interações.

• Análise de Trade-off: O particionamento reduz a complexidade efetiva da base (diminuindo o erro de estimação) ao custo de um aumento no erro de aproximação. Os autores derivam condições sob as quais um nível intermediário de particionamento ($B^*$) melhora as taxas de convergência, particularmente para funções alvo suaves ($g \in \Sigma^s(X)$).
• Efeitos Marginais: A teoria é estendida para a estimativa de Derivadas Parciais Médias (APDs). Os autores mostram que, se as derivadas da função do dicionário possuem suporte esparso, as taxas de estimação para efeitos marginais podem ser mais rápidas do que para a própria função. Isso sugere que modelos mais simples com dicionários de base conhecidos (como os polinomiais) podem fornecer estimativas de efeitos marginais mais confiáveis do que modelos complexos, mesmo que sua precisão preditiva geral seja semelhante.

Algoritmo Proposto: Regressão Polinomial com Bagging (BPR)

Motivado pelos benefícios teóricos do particionamento, os autores propõem a Regressão Polinomial com Bagging e Projeções Aleatórias (BPR). O BPR combina três conceitos:

1. Projeções Aleatórias: Modelos são ajustados em subconjuntos aleatórios de características ($F$) em vez do conjunto completo.
2. Bagging (Ensemble): $M$ modelos base são treinados em subamostras aleatórias dos dados e a média é aplicada para reduzir a variância.
3. Regularização: A penalização $\ell_2$ (Ridge) é aplicada para lidar com a colinearidade e melhorar o ajuste fora da amostra.

Algoritmo 1 (BPR):

1. Para $m = 1$ até $M$:
   • Amostre $F$ características aleatoriamente.
   • Amostre $S$ observações (subamostra).
   • Gere características polinomiais de grau $J$ para as características selecionadas.
   • Ajuste um modelo linear generalizado regularizado (logístico para classificação, linear para regressão).
2. Agregue as predições: Tire a média das saídas dos $M$ modelos (ou realize uma votação majoritária para classificação).

O método permite que pesquisadores ajustem hiperparâmetros ($J, F, M, S, \lambda$) via validação cruzada para navegar no trade-off entre erro de aproximação e de estimação, estimando efetivamente o tamanho ideal do particionamento $B^*$ para um determinado conjunto de dados.

3. Principais Resultados

Contribuições Teóricas

• Limites de Risco: O artigo fornece novos limites de risco $L_2$ assintóticos e de amostra finita para estimadores de séries particionados. Demonstra que o particionamento controla o crescimento da base do dicionário, permitindo taxas de convergência mais rápidas em alta dimensão comparadas à regressão de séries padrão.
• Taxas de Efeito Marginal: O Corolário 2.2 estabelece que o erro de estimação para efeitos marginais escala com o suporte da derivada ($s_j$) em vez do número total de parâmetros ($k$). Isso implica que modelos com estruturas marginais mais simples e esparsas (como o BPR) podem oferecer estimativas mais precisas de efeitos marginais do que modelos de caixa preta complexos.
• Particionamento Ótimo: Os autores caracterizam o tamanho de grupo ótimo $B^*$, mostrando que ele aumenta com a suavidade da função alvo e o grau polinomial, mas diminui com a dimensionalidade do espaço de características.

Aplicação Empírica: Classificação de Culturas

O método é aplicado a um problema de classificação de múltiplas culturas usando imagens de satélite (ópticas RapidEye e radar UAVSAR) perto de Winnipeg, Canadá. A tarefa envolve distinguir sete tipos de culturas (milho, ervilha, canola, soja, aveia, trigo, folhosas) a partir de 174 características.

• Desempenho Preditivo: O BPR alcançou uma acurácia de teste de 0,997, superando as linhas de base de redes neurais reportadas para o mesmo conjunto de dados (aprox. 0,992). Isso foi alcançado com um embedding de baixo grau (grau 2) e um tamanho de ensemble modesto (10 bags), utilizando significativamente menos parâmetros do que NNs sobreparametrizadas.
• Interpretabilidade:
  • Resumos de Coeficientes: Os autores demonstraram como agregar coeficientes através do ensemble de bagging para estimar as Derivadas Parciais Médias (APDs). Para o Índice de Vegetação por Diferença Normalizada (NDVI), o BPR identificou corretamente uma relação negativa com a probabilidade de soja (consistente com os priors agronômicos: a soja é menos verde no início de julho do que as culturas concorrentes).
  • Gráficos de Dependência Parcial (PDP): Enquanto os PDPs do BPR mostraram relações claras e intuitivas entre o NDVI e a probabilidade da cultura, os PDPs das NNs eram essencialmente planos. Os autores argumentam que as NNs distribuem os sinais preditivos entre substitutos correlacionados, obscurecendo o efeito marginal de variáveis individuais, enquanto a subamostragem de características aleatórias do BPR força os aprendizes base a modelar explicitamente a relação das variáveis incluídas.

4. Significância e Alegações

O artigo afirma oferecer um "terceiro caminho" entre a alta precisão das NNs de caixa preta e a interpretabilidade dos modelos econométricos padrão, que frequentemente falham em alta dimensão.

• Alternativa Nativa da Econometria: O BPR fornece uma estrutura transparente, baseada em coeficientes, que suporta a interpretabilidade e se alinha com os priors científicos, abordando os requisitos emergentes de governança (ex: Lei de IA da UE) para transparência algorítmica.
• Justificativa Teórica para a Simplicidade: Os resultados sugerem que, para funções alvo suaves, modelos mais simples com crescimento controlado de base podem igualar o desempenho preditivo de modelos de caixa preta complexos, oferecendo simultaneamente uma interpretabilidade superior e estimativas de efeitos marginais mais confiáveis.
• Utilidade Prática: Os autores demonstram que o BPR não é apenas um construto teórico, mas uma ferramenta prática que iguala o desempenho de ponta em tarefas de predição ambiental, permanecendo direta para diagnóstico usando resumos econométricos padrão (tabelas de coeficientes, PDPs).

O artigo conclui que, embora a regressão polinomial padrão seja raramente utilizada devido às taxas de convergência lentas, a Regressão Polinomial com Bagging e Projeções Aleatórias mitiga com sucesso esses problemas, tornando-a um substituto viável e interpretável para redes neurais em aplicações ambientais de alta dimensão.