📊 statistics

Orthogonality and Dimensionality in Airline Cluster Analysis using PCA and Kernel PCA

Questo articolo replica e amplia uno studio sui cicli di profitto delle compagnie aeree statunitensi dimostrando che, sebbene la tassonomia originale a sei cluster sia geometricamente robusta negli spazi PCA lineari e non lineari, il dataset supporta strutturalmente solo tre cluster, un risultato oscurato nell'analisi originale dalla collinearità nello spazio grezzo a 7 dimensioni.

Autori originali: Andreas Schlapbach

Pubblicato 2026-06-09

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Andreas Schlapbach

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di ordinare una lunga fila di 26 persone (che rappresentano 26 anni di storia del settore aereo dal 1995 al 2020) in diversi gruppi basandoti su quanto denaro hanno guadagnato. Uno studio precedente ha cercato di farlo utilizzando sette diverse misurazioni (come i prezzi del carburante, i salari e le vendite di biglietti) e ha finito per ottenere sei gruppi distinti.

Questo articolo è un "controllo di realtà". L'autore, Andreas Schlapbach, ha preso esattamente quegli stessi dati e si è posto tre semplici domande:

Quelle sette misurazioni ci stanno davvero raccontando sei storie diverse, o stanno solo ripetendo la stessa storia più e più volte?
Sei è il numero giusto di gruppi, o esiste una risposta più semplice?
La matematica utilizzata per trovare questi gruppi è stata ingannata dal modo in cui i dati sono strutturati?

Ecco cosa ha scoperto il documento, spiegato in modo semplice:

1. L'effetto "Camera dell'Eco" (Collinearità)

L'autore ha scoperto che le sette misurazioni utilizzate nello studio originale erano come sette persone in una stanza che urlano tutti la stessa cosa, ma con volumi leggermente diversi. In termini tecnici, sono altamente collineari.

L'analogia: Immagina di voler misurare la dimensione di un albero in crescita. Misuri la sua altezza, la lunghezza dei suoi rami, la larghezza del tronco e il numero di foglie. Tutte queste cose crescono insieme. Se usi tutte queste misure per classificare l'albero in "piccolo", "medio" e "grande", non stai ottenendo sei informazioni diverse; stai solo misurando la crescita dell'albero in sei modi differenti.
Il risultato: L'autore ha scoperto che i dati hanno in realtà solo circa 2,5 dimensioni indipendenti di informazione reale, non sette. Lo studio originale stava essenzialmente misurando lo stesso "trend di crescita" più e più volte.

2. L' "Elastico Stretto" (Perché i gruppi sono rimasti gli stessi)

Anche se i dati erano "rumorosi" a causa di queste misurazioni ripetitive, i sei gruppi originali sono rimasti esattamente gli stessi quando l'autore ha ricalcolato la matematica utilizzando una versione dei dati più pulita e semplice.

L'analogia: Immagina che gli anni della storia dell'aviazione siano perle su un lungo elastico. Lo studio originale ha usato un elastico che era stato stirato in modo molto irregolare (a causa delle misurazioni ripetitive). L'autore l'ha stirato in modo ancora più uniforme.
La sorpresa: Anche se l'elastico ha cambiato forma, l'ordine delle perle non è cambiato. Le perle che rappresentano gli "anni a basso profitto" erano ancora a un'estremità, e quelle degli "anni ad alto profitto" erano all'altra. Poiché i gruppi erano disposti in una linea retta temporale (ordine cronologico), tendere la linea non ha rimescolato i gruppi. I "sei gruppi" erano solo sei fette di quel medesimo "salsicciotto temporale".

3. Il dibattito "Tre contro Sei" (Il numero reale di gruppi)

La scoperta più importante riguarda quanti gruppi esistono effettivamente. Lo studio originale sosteneva che c'erano sei ere distinte. Tuttavia, quando l'autore ha utilizzato uno strumento di "controllo qualità" (chiamato criterio Silhouette) per vedere quanto bene i gruppi si incastrassero tra loro, i dati hanno gridato che ci sono in realtà solo tre gruppi naturali.

I tre veri gruppi:
1. L'era della lotta (1995–2005): Bassi profitti, crisi e prezzi dei biglietti bassi.
2. L'era della ripresa (2006–2014): Ricostruzione, alti costi del carburante, ma i profitti tornano.
3. L'era d'oro (2015–2019): Profitti record.
L'outlier: L'anno 2020 (COVID) è stato così strano da non rientrare in alcun gruppo; era una "singolarità" o un glitch nella matrice.

L'autore sostiene che lo studio originale, parlando di "sei gruppi", è stato un po' come tagliare una pagnotta in sei fette quando la pagnotta era grande solo per tre pezzi distinti. Le sei fette sono comunque pane, ma i dati preferiscono naturalmente tre pezzi. Il "rumore" derivante dalle misurazioni ripetitive (collinearità) ha nascosto il fatto che tre era la risposta migliore.

4. Il "Controllo della Curvatura" (I dati stanno curvandosi?)

L'autore voleva assicurarsi che i dati non fossero segretamente curvi o contorti in un modo che la matematica semplice non potesse vedere. Ha utilizzato una tecnica avanzata chiamata Kernel PCA (che cerca curve nascoste) con sei diversi "lenti" matematiche.

Il risultato: Tutte e sei le lenti concordano: i dati sono piatti. Non ci sono curve nascoste o forme segrete. I cicli di profitto aereo si muovono su una linea retta, prevedibile. Questo conferma che la matematica semplice utilizzata nello studio originale era in realtà corretta; doveva solo essere interpretata con il giusto numero di gruppi.

In sintesi

Il documento conclude che l'idea principale dello studio originale — ovvero che i profitti delle compagnie aeree attraversano diversi cicli e tornano alla normalità dopo una crisi — è corretta e robusta. La matematica non si è rotta e i gruppi non sono scomparsi.

Tuttavia, lo studio suggerisce una correzione:

Non usare tutte e sette le misurazioni (sono ridondanti).
Non forzare sei gruppi (i dati desiderano naturalmente tre).
Riconosci che il 2020 è stato un outlier unico che ha rotto lo schema.

In breve: la storia dei profitti aerei è una linea retta con tre capitoli principali e una strana nota a piè di pagina, non un labirinto complesso con sei stanze nascoste.

Sintesi Tecnica: Ortogonalità e Dimensionalità nell'Analisi dei Cluster delle Compagnie Aeree tramite PCA e Kernel PCA

Definizione del Problema

Questo studio replica e valuta criticamente la metodologia di clustering presentata da Renold et al. [6], che caratterizza i cicli di profitto delle compagnie aeree statunitensi dal 1995 al 2020. Lo studio originale ha utilizzato il clustering k-means su sette variabili altamente collineari, combinato con l'Analisi delle Componenti Principali (PCA) e la modellazione dinamica dei sistemi, per identificare una tassonomia a sei cluster. Due specifiche lacune metodologiche nel lavoro originale hanno stimolato questa replica:

Distorsione da Collinearità: Le sette variabili di input sono guidate da trend di crescita secolare, creando un'alta multicollinearità. Resta da esaminare se tale collinearità distorca le assegnazioni dei cluster nel passaggio dallo spazio originale a 7 dimensioni a uno spazio di punteggio delle componenti principali (PC) geometricamente più pulito.
Giustificazione del Cluster: La scelta di $k=6$ cluster manca di una giustificazione quantitativa. Lo studio mette in discussione se i dati supportino strutturalmente sei cluster o se un numero diverso sia più appropriato.

L'analisi mira a rispondere a tre domande fondamentali:

La collinearità distorce materialmente le assegnazioni dei cluster tra gli spazi raw e PC?
Qual è il numero di cluster che i dati supportano strutturalmente?
L'inclusione della quarta componente principale (che cattura lo shock del rendimento dovuto al COVID-19) migliora la qualità del clustering?

Metodologia

L'analisi utilizza 26 osservazioni annuali (1995–2020) tratte da Renold et al. [6], che coprono profitto operativo, prezzo del carburante, salari medi, RPM, fattore di carico, rendimento per passeggero e rapporto altre spese. I dati sono stati standardizzati (media zero, varianza unitaria) prima dell'analisi.

Configurazione Sperimentale:

Clustering: Il clustering k-means è stato eseguito con 100 inizializzazioni casuali e fino a 1000 iterazioni per garantire la convergenza.
Spazi Analizzati:
1. 7D-raw: Lo spazio originale a 7 dimensioni delle variabili.
2. 3D-pc: Lo spazio delle prime tre componenti principali (che catturano l'87,8% della varianza).
3. 4D-pc: Lo spazio delle prime quattro componenti principali (che catturano il 95,5% della varianza).
Metriche:
- Accordo tra i Cluster: Misurato tramite l'Indice di Rand Corretto (ARI).
- Qualità del Cluster: Valutata utilizzando il coefficiente di Silhouette (più alto è, meglio è) e l'indice di Davies–Bouldin (più basso è, meglio è).
- Dimensionalità: La dimensionalità effettiva è stata quantificata utilizzando il Rapporto di Partecipazione (PR) derivato dallo spettro degli autovalori.
Controllo della Nonlinearità: La Kernel PCA (kPCA) è stata applicata sotto sei kernel (Lineare, RBF, Polinomiale grado 2 & 3, Fisher–Mahalanobis e Graph Diffusion) per testare la presenza di una curvatura nascosta del manifold.

Risultati Chiave

1. Robustezza delle Assegnazioni dei Cluster alla Collinearità

Lo studio rileva che la tassonomia a sei cluster è geometricamente robusta.

Identità delle Assegnazioni: Il k-means nello spazio 3D-pc produce assegnazioni dei cluster bit-per-bit identiche allo spazio 7D-raw per tutti i 26 anni (ARI = 1,000).
Meccanismo: L'assenza di distorsione è attribuita all'allineamento temporale dei cluster. La direzione dominante della collinearità (PC1) rappresenta la crescita secolare dell'aviazione statunitense. Poiché i sei cluster sono bande temporali contigue, l'estensione dell'asse temporale (l'effetto della collinearità) preserva la struttura a bande senza riordinare i punti attraverso i confini.
Sfumatura 4D-pc: Lo spazio 4D-pc riassegna solo l'anno 2000 (un anno di picco dei prezzi del carburante) dal cluster 9/11, separandolo in base alla componente del rendimento per passeggero (PC4).

2. Supporto Strutturale per Tre Cluster

Contrariamente al framework originale a sei cluster, i dati supportano strutturalmente tre cluster.

Analisi della Silhouette: Nello spazio 3D-pc, geometricamente pulito, il punteggio della Silhouette raggiunge il picco decisamente a $k=3$ (0,523), mentre per $k=6$ è di 0,448 (il 14% in meno).
Soppressione della Collinearità: Nello spazio 7D-raw, la curva della Silhouette è piatta tra $k=6$ e $k=7$ , fallendo nell'identificare $k=3$ come la scelta naturale. L'asse di crescita gonfiato sopprime il contrasto tra i cluster necessario per rivelare la partizione ottimale.
Dimensionalità Effettiva: Il Rapporto di Partecipazione (PR) è calcolato a circa 2,47, indicando che i sette input rappresentano effettivamente solo circa 2,5 misurazioni indipendenti a causa della severa collinearità.
Interpretazione: I tre regimi naturali sono identificati come:
1. Era di basso profitto (1995–2005)
2. Era di ripresa (2006–2014)
3. Era di massimo profitto (2015–2019)
  (Con il 2020 come singolarità strutturale). La soluzione a sei cluster è descritta come una suddivisione descrittivamente coerente imposta sui dati piuttosto che una struttura raccomandata dagli stessi.

3. Superiorità dello Spazio 4D-pc

Lo spazio 4D-pc è identificato come lo spazio di clustering quantitativamente superiore.

Raggiunge il miglior indice di Davies–Bouldin a $k=6$ (0,557 rispetto a 0,647 in 7D-raw), un miglioramento del 13,9%.
L'inclusione di PC4 (rendimento per passeggero) cattura la struttura della varianza unica dell'anno del COVID-19 (2020), rendendo lo spazio internamente coerente con l'osservazione che sono necessarie quattro componenti per modellare completamente i dati.

4. Linearità del Manifold

L'analisi Kernel PCA conferma che il manifold sottostante dei dati è intrinsecamente lineare, senza curvature nascoste.

Accordo tra i Kernel: Tutti i sei kernel (che spaziano dalle famiglie basate sulla distanza, sulla geometria dell'informazione e sui grafi) preservano l'assegnazione dei sei cluster nelle proiezioni 2D (ARI = 1,000 tra proiezioni lineari e non lineari).
Diagnostica 1D: Una diagnostica 1D utilizzando la prima componente del kernel rivela un comportamento specifico: il kernel lineare confonde l'anno del COVID (C3) con il cluster di massimo profitto (C0). Tuttavia, tutti i cinque kernel non di base spostano C3 affinché si sovrapponga al cluster post-crisi finanziaria (C5).
Conclusione: L'accordo tra diverse famiglie di kernel conferma l'assenza di una struttura non lineare nascosta.

Significato e Rivendicazioni

Il documento afferma di validare la robustezza geometrica del clustering della redditività delle compagnie aeree di Renold et al. pur identificando lacune critiche nella giustificazione metodologica.

Validazione della Stabilità: Il risultato principale, ovvero che la struttura a sei cluster persiste passando dallo spazio 7D-raw allo spazio 3D-PC, è confermato. Lo studio conclude che la collinearità non distorce le assegnazioni dei cluster perché la direzione della collinearità (crescita secolare) è ortogonale al criterio di partizione (regimi temporali).
Correzione Metodologica: Lo studio asserisce che, sebbene la soluzione a sei cluster sia empiricamente difendibile per l'analisi politica che richiede una risoluzione temporale fine, essa è statisticamente sotto-specificata. I dati supportano strutturalmente tre cluster, un fatto oscurato dalla collinearità nello spazio raw.
Conferma della Linearità: La validazione cross-kernel rafforza la conclusione che il manifold della redditività delle compagnie aeree è intrinsecamente lineare, chiudendo le critiche sulla robustezza riguardanti la curvatura nascosta.
Raccomandazione: Il paper raccomanda di eseguire il k-means sui vettori di punteggio PCA (specificamente sullo spazio 4D-pc) piuttosto che sulle variabili raw, per evitare la soppressione del segnale indotta dalla collinearità e per catturare meglio la varianza unica del periodo COVID-19.

Lo studio mantiene un tono modesto, riconoscendo che la tassonomia a sei cluster rimane utile per scopi descrittivi e che l'affermazione originale di un ritorno ai pattern pre-COVID dopo la pandemia è robusta nell'ambito della finestra di osservazione 1995–2020.