📊 statistics

Orthogonality and Dimensionality in Airline Cluster Analysis using PCA and Kernel PCA

Este artigo replica e estende um estudo sobre os ciclos de lucro das companhias aéreas dos EUA ao demonstrar que, embora a taxonomia original de seis clusters seja geometricamente robusta através de espaços de PCA lineares e não lineares, o conjunto de dados suporta estruturalmente apenas três clusters, um achado obscurecido na análise original pela colinearidade no espaço bruto de 7 dimensões.

Autores originais: Andreas Schlapbach

Publicado 2026-06-09

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Andreas Schlapbach

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando organizar uma longa fila de 26 pessoas (representando 26 anos de história da aviação, de 1995 a 2020) em diferentes grupos baseados em quanto dinheiro elas ganharam. Um estudo anterior tentou fazer isso usando sete medições diferentes (como preços de combustível, salários e vendas de passagens) e acabou resultando em seis grupos distintos.

Este artigo é um "teste de realidade". O autor, Andreas Schlapbach, pegou esses mesmos dados e fez três perguntas simples:

Essas sete medições estão realmente nos contando seis histórias diferentes ou estão apenas repetindo a mesma história repetidamente?
Seis é o número certo de grupos ou existe uma resposta mais simples?
O cálculo usado para encontrar esses grupos foi enganado pela forma como os dados estão estruturados?

Aqui está o que o artigo descobriu, explicado de forma simples:

1. O Efeito "Câmara de Eco" (Colinearidade)

O autor descobriu que as sete medições usadas no estudo original eram como sete pessoas em uma sala, todas gritando a mesma coisa em volumes ligeiramente diferentes. Em termos técnicos, elas são altamente colineares.

A Analogia: Imagine tentar medir o tamanho de uma árvore em crescimento. Você mede sua altura, o comprimento de seus galhos, a largura de seu tronco e o número de folhas. Tudo isso cresce junto. Se você usar todos eles para classificar a árvore como "pequena", "média" e "grande", você não está obtendo seis informações diferentes; você está apenas medindo o crescimento da árvore de seis maneiras diferentes.
O Resultado: O autor descobriu que os dados têm, na verdade, cerca de 2,5 dimensões independentes de informação real, não sete. O estudo original estava essencialmente medindo a mesma "tendência de crescimento" repetidas vezes.

2. O "Elástico Esticável" (Por que os Grupos Permaneceram Iguais)

Mesmo que os dados fossem "ruidosos" devido a essas medições repetitivas, os seis grupos originais permaneceram exatamente os mesmos quando o autor refez os cálculos usando uma versão mais limpa e simples dos dados.

A Analogia: Imagine os anos da história da aviação como contas em um longo elástico esticável. O estudo original usou um elástico que estava esticado de forma muito irregular (por causa das medições repetitivas). O autor o esticou ainda mais uniformemente.
A Surpresa: Embora o elástico tenha mudado de forma, a ordem das contas não mudou. As contas representando os "anos de baixo lucro" ainda estavam em uma extremidade, e as de "alto lucro" na outra. Como os grupos estavam organizados em uma linha reta de tempo (ordem cronológica), esticar a linha não os misturou. Os "seis grupos" eram apenas seis fatias desse mesmo "salame temporal".

3. O Debate "Três vs. Seis" (O Número Real de Grupos)

A descoberta mais importante é sobre quantos grupos realmente existem. O estudo original alegava que havia seis eras distintas. No entanto, quando o autor usou uma ferramenta de "controle de qualidade" (chamada critério de Silhueta) para ver quão bem os grupos se encaixavam, os dados gritaram que existem, na verdade, apenas três grupos naturais.

Os Três Grupos Reais:
1. A Era da Luta (1995–2005): Lucros baixos, crises e preços de passagens baixos.
2. A Era da Recuperação (2006–2014): Reconstrução, altos custos de combustível, mas lucros retornando.
3. A Era de Ouro (2015–2019): Lucros recordes.
O Outlier (Ponto Fora da Curva): O ano de 2020 (COVID) foi tão estranho que não se encaixou em nenhum grupo; foi uma "singularidade" ou uma falha na matriz.

O autor argumenta que os "seis grupos" do estudo original eram um pouco como cortar um pão de forma em seis fatias quando o pão era grande o suficiente apenas para três pedaços distintos. As seis fatias ainda são pão, mas os dados naturalmente preferem três pedaços. O "ruído" das medições repetitivas (colinearidade) escondeu o fato de que três era a melhor resposta.

4. O "Teste de Curvatura" (Os Dados Estão Dobrando?)

O autor queria garantir que os dados não estivessem secretamente curvados ou retorcidos de uma forma que a matemática simples não pudesse ver. Ele usou uma técnica avançada chamada Kernel PCA (que procura curvas ocultas) com seis diferentes "lentes" matemáticas.

O Resultado: Todas as seis lentes concordaram: os dados são planos. Não há curvas ocultas ou formas secretas. Os ciclos de lucro das companhias aéreas movem-se em uma linha reta e previsível. Isso confirma que a matemática simples usada no estudo original estava, na verdade, correta; ela só precisava ser interpretada com o número certo de grupos.

A Conclusão Final

O artigo conclui que a ideia principal do estudo original — que os lucros das companhias aéreas passam por diferentes ciclos e retornam ao normal após uma crise — é correta e robusta. A matemática não quebrou, e os grupos não desapareceram.

No entanto, o estudo sugere uma correção:

Não use todas as sete medições (elas são redundantes).
Não force seis grupos (os dados naturalmente querem três).
Reconheça que 2020 foi um outlier único que quebrou o padrão.

Em resumo: a história dos lucros das companhi-aéreas é uma linha reta com três capítulos principais e uma nota de rodapé estranha, não um labirinto complexo com seis salas escondidas.

Resumo Técnico: Ortogonalidade e Dimensionalidade na Análise de Agrupamento de Companhias Aéreas usando PCA e Kernel PCA

Declaração do Problema

Este estudo replica e avalia criticamente a metodologia de agrupamento (clustering) apresentada por Renold et al. [6], que caracteriza os ciclos de lucro das companhias aéreas dos EUA de 1995 a 2020. O estudo original utilizou k-means clustering em sete variáveis altamente colineares, combinadas com Análise de Componentes Principais (PCA) e modelagem de dinâmica de sistemas, para identificar uma taxonomia de seis clusters. Duas lacunas metodológicas específicas no trabalho original motivaram esta replicação:

Distorção por Colinearidade: As sete variáveis de entrada são impulsionadas por tendências de crescimento secular, criando alta multicolinearidade. Resta não examinado se essa colinearidade distorce as atribuições de cluster ao transitar do espaço original de 7 dimensões para um espaço de escores de componentes principais (PC) geometricamente mais limpo.
Justificativa de Cluster: A escolha de $k=6$ clusters carece de justificativa quantitativa. O estudo questiona se os dados suportam estruturalmente seis clusters ou se um número diferente é mais apropriado.

A análise visa responder a três questões centrais:

A colinearidade distorce materialmente as atribuições de cluster entre os espaços bruto e PC?
Qual número de clusters os dados suportam estruturalmente?
A inclusão do quarto componente principal (que captura o choque de rendimento do COVID-19) melhora a qualidade do cluster?

Metodologia

A análise utiliza 26 observações anuais (1995–2020) de Renold et al. [6], cobrindo lucro operacional, preço do combustível, salários médios, RPM, fator de ocupação, rendimento por passageiro e razão de outras despesas. Os dados foram padronizados (média zero, variância unitária) antes da análise.

Configuração Experimental:

Agrupamento (Clustering): O k-means clustering foi realizado com 100 inicializações aleatórias e até 1000 iterações para garantir a convergência.
Espaços Analisados:
1. 7D-raw: O espaço original de 7 dimensões das variáveis.
2. 3D-pc: O espaço dos três primeiros componentes principais (capturando 87,8% da variância).
3. 4D-pc: O espaço dos quatro primeiros componentes principais (capturando 95,5% da variância).
Métricas:
- Acordo de Cluster: Medido via Índice Rand Ajustado (ARI).
- Qualidade do Cluster: Avaliada usando o coeficiente de Silhueta (quanto maior, melhor) e o índice de Davies–Bouldin (quanto menor, melhor).
- Dimensionalidade: A dimensionalidade efetiva foi quantificada usando a Razão de Participação (PR) derivada do espectro de autovalores.
Verificação de Não Linearidade: O Kernel PCA (kPCA) foi aplicado sob seis kernels (Linear, RBF, Polinomial de grau 2 e 3, Fisher–Mahalanobis e Difusão de Grafo) para testar a curvatura do manifold oculto.

Principais Descobertas

1. Robustez das Atribuições de Cluster à Colinearidade

O estudo constata que a taxonomia de seis clusters é geometricamente robusta.

Identidade de Atribuições: O k-means no espaço 3D-pc produz atribuições de cluster bit a bit idênticas ao espaço 7D-raw para todos os 26 anos (ARI = 1,000).
Mecanismo: A ausência de distorção é atribuída ao alinhamento temporal dos clusters. A direção dominante de colinearidade (PC1) representa o crescimento secular da aviação nos EUA. Como os seis clusters são faixas temporais contíguas, o estiramento do eixo temporal (o efeito da colinearidade) preserva a estrutura de faixas sem reordenar os pontos através das fronteiras.
Nuance do 4D-pc: O espaço 4D-pc reatribui apenas o ano 2000 (um ano de pico de combustível) do cluster 9/11, separando-o com base no componente de rendimento por passageiro (PC4).

2. Suporte Estrutural para Três Clusters

Ao contrário da estrutura original de seis clusters, os dados suportam estruturalmente três clusters.

Análise de Silhueta: No espaço 3D-pc geometricamente limpo, o escore de Silhueta atinge o pico decisivamente em $k=3$ (0,523), enquanto $k=6$ pontua 0,448 (14% pior).
Supressão de Colinearidade: No espaço 7D-raw, a curva de Silhueta é plana entre $k=6$ e $k=7$ , falhando em identificar $k=3$ como a escolha natural. O eixo de crescimento inflado suprime o contraste entre clusters necessário para revelar a partição ideal.
Dimensionalidade Efetiva: A Razão de Participação (PR) é calculada em aproximadamente 2,47, indicando que as sete entradas representam efetivamente apenas ~2,5 medições independentes devido à severa colinearidade.
Interpretação: Os três regimes naturais são identificados como:
1. Era de baixo lucro (1995–2005)
2. Era de recuperação (2006–2014)
3. Era de lucro máximo (2015–2019)
  (Com 2020 como uma singularidade estrutural). A solução de seis clusters é descrita como uma subdivisão descritivamente coerente imposta aos dados, em vez de uma estrutura recomendada por eles.

3. Superioridade do Espaço 4D-pc

O espaço 4D-pc é identificado como o espaço de agrupamento quantitativamente superior.

Ele alcança o melhor índice de Davies–Bouldin em $k=6$ (0,557 vs. 0,647 no 7D-raw), uma melhoria de 13,9%.
A inclusão do PC4 (rendimento por passageiro) captura a estrutura de variância única do ano do COVID-19 (2020), tornando o espaço internamente consistente com a observação de que quatro componentes são necessários para modelar os dados plenamente.

4. Linearidade do Manifold

A análise de Kernel PCA confirma que o manifold subjacente dos dados é intrinsecamente linear, sem curvatura oculta.

Acordo entre Kernels: Todos os seis kernels (abrangendo famílias baseadas em distância, geometria da informação e grafos) preservam a atribuição de seis clusters em projeções 2D (ARI = 1,000 entre projeções lineares e não lineares).
Diagnóstico 1D: Um diagnóstico 1D usando o primeiro componente do kernel revela um comportamento específico: o kernel linear confunde o ano do COVID (C3) com o cluster de lucro máximo (C0). No entanto, todos os cinco outros kernels deslocam o C3 para sobrepor-se ao cluster pós-crise financeira (C5).
Conclusão: O acordo entre famílias de kernels fundamentalmente diferentes confirma a ausência de estrutura não linear oculta.

Significância e Alegações

O artigo afirma validar a robustez geométrica do agrupamento de lucratividade de companhias aéreas de Renold et al., identificando simultaneamente lacunas críticas na justificativa metodológica.

Validação da Estabilidade: A principal descoberta de que a estrutura de seis clusters persiste ao transitar do espaço 7D-raw para o espaço 3D-PC é confirmada. O estudo conclui que a colinearidade não distorce as atribuições de cluster porque a direção de colinearidade (crescimento secular) é ortogonal ao critério de partição (regimes temporais).
Correção Metodológica: O estudo afirma que, embora a solução de seis clusters seja empiricamente defensável para análise de políticas que exigem resolução temporal fina, ela é estatisticamente subespecificada. Os dados suportam estruturalmente três clusters, um fato obscurecido pela colinearidade no espaço bruto.
Confirmação de Linearidade: A validação por cross-kernel fortalece a conclusão de que o manifold de lucratidade das companhias aéreas é intrinsecamente linear, fechando críticas de robustez quanto à curvatura oculta.
Recomendação: O artigo recomenda realizar o k-means nos vetores de escore PCA (especificamente no espaço 4D-pc) em vez de variáveis brutas para evitar a supressão de sinal induzida pela colinearidade e para capturar melhor a variância única do período COVID-19.

O estudo mantém um tom modesto, reconhecendo que a taxonomia de seis clusters permanece útil para fins descritivos e que a afirmação original de reversão pós-pandemia aos padrões pré-COVID é robusta dentro da janela de observação de 1995–2020.