Piece-wise linear isotonic regression

Resumo Técnico: Regressão Isotônica Linear por Partes

Declaração do Problema
A regressão isotônica oferece um método flexível, sem necessidade de ajuste de parâmetros, para estimar funções monótonas sem impor restrições de curvatura global (por exemplo, concavidade). No entanto, o estimador padrão de Mínimos Quadrados Não Paramétricos Isotônicos (INLS) produz uma função degrau. Embora robusto e consistente, essa função degrau é inerentemente não diferenciável. Consequentemente, não pode fornecer propriedades marginais significativas essenciais para análise econômica e operacional, como preços sombra ou elasticidades. Técnicas de suavização padrão, como interpolação convexa global, são inadequadas porque reimporiam as restrições de curvatura global (como concavidade) que o estimador INLS foi especificamente projetado para relaxar, apagando assim não convexidades locais (por exemplo, curvas em forma de S) identificadas nos dados.

Metodologia
Os autores propõem uma nova estrutura de Regressão Isotônica Linear por Partes, denominada CC-INLS (INLS Condicionalmente Convexo), para preencher a lacuna entre a natureza de função degrau do INLS e a necessidade de estimativas marginais contínuas e diferenciáveis. A metodologia procede em três etapas:

1. Identificação de Pontos de Ancoragem: O processo começa com a estimativa INLS padrão, que produz uma função degrau com valores ajustados constantes sobre blocos específicos de observações. Os autores definem um conjunto de "pontos de ancoragem" representando esses blocos. Duas estratégias são empregadas para determinar o vetor de coordenadas de cada âncora:

   • Vértices: Os mínimos por componente das observações dentro de um bloco.
   • Centroides: A média ou mediana das observações dentro de um bloco.

2. Formulação de Convexidade Condicional: Para suavizar a função degrau preservando não convexidades locais, os autores adaptam o conceito de convexidade condicional (originário da análise de fronteiras determinísticas na Análise Envoltória de Dados). Um conjunto de pontos é condicionalmente convexo se os facetas lineares locais usados para interpolação não "dominarem" qualquer ponto de ancoragem existente. Isso garante que o processo de suavização respeite variações locais de forma, como pontos de inflexão em curvas em forma de S, em vez de atravessá-los com uma superfície globalmente côncava.

3. Programação Bilevel e Reformulação de Nível Único: O processo de suavização é formulado como um problema de otimização bilevel:

   • Problema do Líder: Constrói uma previsão para uma entrada dada encontrando uma combinação convexa de pontos de ancoragem que maximize o valor da resposta, garantindo que as âncoras selecionadas formem uma faceta local válida.
   • Problema do Seguidor: Atua como um teste rigoroso para verificar se a faceta proposta não domina nenhum outro ponto de ancoragem existente (ou seja, não cruza sobre não convexidades locais).

   Para tornar o problema computacionalmente tratável, os autores reformulam essa estrutura bilevel em um problema de Programação Linear Mista Inteira (MILP) de Nível Único. Isso é alcançado por:

   • Linearização das condições exatas de coplanaridade usando restrições Big-M e variáveis de seleção binárias.
   • Substituição do problema do seguidor por suas condições de dualidade forte (igualando objetivos primal e dual), eliminando assim a necessidade de condições complexas de Karush-Kuhn-Tucker (KKT).

Contribuições Principais

• Nova Estrutura de Suavização: O artigo introduz um método para recuperar superfícies de regressão contínuas e lineares por partes a partir de funções degrau do INLS sem impor restrições de curvatura global.
• Recuperação de Propriedades Marginais: A abordagem permite o cálculo direto de propriedades marginais (preços sombra, elasticidades) em configurações não convexas, uma capacidade anteriormente indisponível com estimadores isotônicos padrão.
• Eficiência Computacional: Ao aproveitar a dualidade forte para colapsar o problema bilevel em um MILP de nível único, o método permite cálculo exato usando solucionadores padrão (por exemplo, CPLEX, Gurobi).
• Preservação de Forma: O uso de convexidade condicional garante que não convexidades locais (por exemplo, padrões em forma de S) identificadas pela etapa inicial do INLS sejam preservadas em vez de suavizadas.

Resultados
Os autores avaliam o estimador CC-INLS por meio de simulações de Monte Carlo e uma aplicação empírica:

• Simulações de Monte Carlo:

  • Cenários: O estudo testa o estimador em processos geradores de dados não convexos (logístico/em forma de S) e globalmente côncavos (Cobb-Douglas) em configurações univariadas e multivariadas com níveis variados de ruído.
  • Desempenho: Os estimadores CC-INLS (ambas as variantes de vértice e centróide) superam consistentemente a função degrau INLS não suavizada padrão em termos de Erro Quadrático Médio (RMSE) fora da amostra.
  • Redução de Viés: As técnicas de suavização propostas mitigam efetivamente o forte viés negativo inerente ao estimador INLS não suavizado.
  • Robustez: A escolha entre pontos de ancoragem de vértice e centróide tem impacto negligenciável na precisão preditiva, sugerindo que o ganho principal decorre do próprio princípio da convexidade condicional.
  • Ganhos Multivariados: A melhoria na precisão é particularmente pronunciada em configurações multivariadas e ambientes de alto ruído.

• Aplicação Empírica (Municípios Finlandeses):

  • O método é aplicado para estimar economias de aglomeração modelando a relação entre população municipal e disponibilidade de empregos.
  • O estimador CC-INLS forneceu previsões precisas fora da amostra e gerou com sucesso curvas de regressão contínuas.
  • Crucialmente, a aplicação demonstrou a capacidade de estimar elasticidades de escala de forma não paramétrica, uma tarefa impossível com o INLS de função degrau.

Significado e Alegações
O artigo afirma que a estrutura CC-INLS aborda uma limitação fundamental da regressão isotônica: a incapacidade de avaliar efeitos marginais devido à não diferenciabilidade. Ao integrar convexidade condicional, os autores demonstram que é possível construir uma superfície contínua, monótona e linear por partes que preserva estritamente variações locais de forma e não convexidades.

Os autores afirmam que essa abordagem não apenas facilita o cálculo de preços sombra e elasticidades, mas também melhora sistematicamente a precisão geral da estimativa em comparação com o estimador INLS padrão. Eles observam que o método é robusto em diferentes formas funcionais (tanto não convexas quanto côncavas) e dimensionalidades de dados. Embora o artigo reconheça que o ônus computacional escala com o tamanho da amostra e a dimensionalidade, ele postula que a reformulação MILP de nível único torna a abordagem praticamente viável para conjuntos de dados padrão. O estudo conclui que o princípio da convexidade condicional é uma ferramenta robusta para suavização com preservação de forma em regressão não paramétrica.