📊 statistics

Orthogonality and Dimensionality in Airline Cluster Analysis using PCA and Kernel PCA

Cet article reproduit et étend une étude sur les cycles de profit des compagnies aériennes américaines en démontrant que, bien que la taxonomie originale à six clusters soit géométriquement robuste à travers les espaces PCA linéaires et non linéaires, l'ensemble de données ne soutient structurellement que trois clusters, un résultat occulté dans l'analyse originale par la colinéarité dans l'espace brut à 7 dimensions.

Auteurs originaux : Andreas Schlapbach

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Andreas Schlapbach

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de trier une longue file de 26 personnes (représentant 26 années d'histoire de l'aviation de 1995 à 2020) en différents groupes basés sur l'argent qu'elles ont gagné. Une étude précédente a tenté de le faire en utilisant sept mesures différentes (comme les prix du carburant, les salaires et la vente de billets) et a fini par obtenir six groupes distincts.

Ce document est un « test de réalité ». L'auteur, Andreas Schlapbach, a repris ces mêmes données et s'est posé trois questions simples :

Ces sept mesures racontent-elles réellement six histoires différentes, ou ne font-elles que répéter la même histoire encore et encore ?
Six est-il le bon nombre de groupes, ou existe-t-il une réponse plus simple ?
Les mathématiques utilisées pour trouver ces groupes ont-elles été trompées par la structure des données ?

Voici ce que le document a trouvé, expliqué simplement :

1. L'effet « Chambre d'écho » (Colinéarité)

L'auteur a découvert que les sept mesures utilisées dans l'étude originale étaient comme sept personnes dans une pièce criant la même chose, mais avec des volumes légèrement différents. En termes techniques, elles sont hautement colinéaires.

L'analogie : Imaginez que vous essayiez de mesurer la taille d'un arbre en pleine croissance. Vous mesurez sa hauteur, la longueur de ses branches, la largeur de son tronc et le nombre de feuilles. Tous ces éléments croissent ensemble. Si vous utilisez tous ces éléments pour classer l'arbre en « petit », « moyen » et « grand », vous n'obtenez pas six informations différentes ; vous mesurez simplement la croissance de l'arbre de six manières différentes.
Le résultat : L'auteur a découvert que les données n'ont en réalité qu'environ 2,5 dimensions indépendantes d'informations réelles, et non sept. L'étude originale mesurait essentiellement la même « tendance de croissance » de manière répétée.

2. Le « Élastique extensible » (Pourquoi les groupes sont restés les mêmes)

Même si les données étaient « bruyantes » en raison de ces mesures répétitives, les six groupes originaux sont restés exactement les mêmes lorsque l'auteur a relancé les calculs en utilisant une version plus propre et plus simple des données.

L'analogie : Imaginez que les années de l'histoire de l'aviation sont des perles sur un long élastique extensible. L'étude originale utilisait un élastique qui était étiré de manière très inégale (à cause des mesures répétitives). L'auteur l'a étiré de manière encore plus uniforme.
La surprise : Même si l'élastique a changé de forme, l'ordre des perles n'a pas changé. Les perles représentant les « années de faible profit » étaient toujours à une extrémité, et celles des « années de profit élevé » à l'autre. Comme les groupes étaient disposés en ligne droite chronologique, l'étirement de la ligne n'a pas mélangé les éléments. Les « six groupes » n'étaient que six tranches de ce même « saucisson temporel ».

3. Le débat « Trois contre Six » (Le vrai nombre de groupes)

La découverte la plus importante concerne le nombre de groupes qui existent réellement. L'étude originale affirmait qu'il y avait six époques distinctes. Cependant, lorsque l'auteur a utilisé un outil de « contrôle de qualité » (appelé critère de Silhouette) pour voir comment les groupes s'assemblaient, les données ont hurlé qu'il n'y avait en réalité que trois groupes naturels.

Les trois vrais groupes :
1. L'ère de la lutte (1995–2005) : Faibles profits, crises et bas prix des billets.
2. L'ère de la reprise (2006–2014) : Reconstruction, coûts de carburant élevés, mais les profits reviennent.
3. L'ère dorée (2015–2019) : Profits records.
L'anomalie : L'année 2020 (COVID) était si étrange qu'elle ne s'intégrait dans aucun groupe ; c'était une « singularité » ou un bug dans la matrice.

L'auteur soutient que les « six groupes » de l'étude originale sont un peu comme couper une miche de pain en six tranches alors que la miche n'était assez grande que pour trois morceaux distincts. Les six tranches sont toujours du pain, mais les données préfèrent naturellement trois morceaux. Le « bruit » provenant des mesures répétitives (colinéarité) a caché le fait que trois était la meilleure réponse.

4. Le « Test de courbure » (Les données sont-elles courbées ?)

L'auteur voulait s'assurer que les données n'étaient pas secrètement courbées ou tordues d'une manière que les mathématiques simples ne pourraient pas voir. Il a utilisé une technique sophistiquée appelée PCA à noyau (Kernel PCA, qui recherche les courbes cachées) avec six « lentilles » mathématiques différentes.

Le résultat : Les six lentilles sont toutes d'accord : les données sont plates. Il n'y a pas de courbes cachées ou de formes secrètes. Les cycles de profit aérien se déplacent sur une ligne droite, prévisible. Cela confirme que les mathématiques simples utilisées dans l'étude originale étaient en fait correctes ; elles avaient simplement besoin d'être interprétées avec le bon nombre de groupes.

L'essentiel

Le document conclut que l'idée principale de l'étude originale — à savoir que les profits aériens traversent différents cycles et reviennent à la normale après une crise — est correcte et robuste. Les mathématiques n'ont pas échoué, et les groupes n'ont pas disparu.

Cependant, l'étude suggère une correction :

Ne pas utiliser les sept mesures (elles sont redondantes).
Ne pas forcer six groupes (les données veulent naturellement trois).
Reconnaître que 2020 était une anomalie unique qui a brisé le modèle.

En bref : l'histoire des profits aériens est une ligne droite avec trois chapitres principaux et une note de bas de page étrange, et non un labyrinthe complexe avec six pièces cachées.

Résumé technique : Orthogonalité et dimensionnalité dans l'analyse de regroupement des compagnies aériennes par l'ACP et l'ACP à noyau

Énoncé du problème

Cette étude reproduit et évalue de manière critique la méthodologie de regroupement (clustering) présentée par Renold et al. [6], qui caractérise les cycles de profit des compagnies aériennes américaines de 1995 à 2020. L'étude originale utilisait le partitionnement k-means sur sept variables hautement colinéaires, combiné à une analyse en composantes principales (ACP) et une modélisation par dynamique des systèmes, pour identifier une taxonomie de six clusters. Deux lacunes méthodologiques spécifiques dans le travail original ont motivé cette reproduction :

Distorsion par colinéarité : Les sept variables d'entrée sont régies par des tendances de croissance séculaires, créant une multicolinéarité élevée. Il reste à examiner si cette colinéarité distord l'assignation des clusters lors du passage de l'espace brut à 7 dimensions vers un espace de scores de composantes principales (CP) géométriquement plus propre.
Justification des clusters : Le choix de $k=6$ clusters manque de justification quantitative. L'étude questionne si les données soutiennent structurellement six clusters ou si un nombre différent est plus approprié.

L'analyse vise à répondre à trois questions fondamentales :

La colinéarité distord-elle matériellement l'assignation des clusters entre les espaces bruts et les espaces CP ?
Quel nombre de clusters les données soutiennent-elles structurellement ?
L'inclusion de la quatrième composante principale (capturant le choc de rendement lié au COVID-19) améliore-t-elle la qualité du regroupement ?

Méthodologie

L'analyse utilise 26 observations annuelles (1995–2020) issues de Renold et al. [6], couvrant le profit opérationnel, le prix du carburant, les salaires moyens, le RPM, le coefficient de remplissage, le rendement par passager et le ratio des autres dépenses. Les données ont été standardisées (moyenne nulle, variance unitaire) avant l'analyse.

Configuration expérimentale :

Regroupement (Clustering) : Le partitionnement k-means a été effectué avec 100 initialisations aléatoires et jusqu'à 1000 itérations pour assurer la convergence.
Espaces analysés :
1. 7D-brut : L'espace original des 7 variables.
2. 3D-cp : L'espace des trois premières composantes principales (capturant 87,8 % de la variance).
3. 4D-cp : L'espace des quatre premières composantes principales (capturant 95,5 % de la variance).
Métriques :
- Accord de cluster : Mesuré via l'indice Rand ajusté (ARI).
- Qualité de cluster : Évaluée à l'aide du coefficient de Silhouette (plus élevé est mieux) et de l'indice de Davies–Bouldin (plus bas est mieux).
- Dimensionnalité : La dimensionnalité effective a été quantifiée à l'aide du rapport de participation (PR) dérivé du spectre des valeurs propres.
Vérification de la non-linéarité : L'ACP à noyau (kPCA) a été appliquée sous six noyaux (Linéaire, RBF, Polynomial degré 2 & 3, Fisher–Mahalanobis, et Diffusion de graphe) pour tester la courbure de la variété (manifold) cachée.

Principaux résultats

1. Robustesse de l'assignation des clusters à la colinéarité

L'étude conclut que la taxonomie à six clusters est géométriquement robuste.

Identité des assignations : Le k-means dans l'espace 3D-cp produit des assignations de clusters bit à bit identiques à l'espace 7D-brut pour les 26 années (ARI = 1,000).
Mécanisme : L'absence de distorsion est attribuée à l'alignement temporel des clusters. La direction colinéaire dominante (CP1) représente la croissance séculaire de l'aviation américaine. Puisque les six clusters sont des bandes temporelles contiguës, l'étirement de l'axe temporel (l'effet de la colinéarité) préserve la structure en bandes sans réordonner les points à travers les frontières.
Nuance 4D-cp : L'espace 4D-cp réassigne uniquement l'année 2000 (une année de pic de carburant) du cluster 9/11, en le séparant sur la base de la composante du rendement par passager (CP4).

2. Soutien structurel pour trois clusters

Contrairement au cadre original de six clusters, les données soutiennent structurellement trois clusters.

Analyse de Silhouette : Dans l'espace 3D-cp géométriquement propre, le score de Silhouette culmine nettement à $k=3$ (0,523), alors que $k=6$ affiche un score de 0,448 (14 % de moins).
Suppression de la colinéarité : Dans l'espace 7D-brut, la courbe de Silhouette est plate entre $k=6$ et $k=7$ , échouant à identifier $k=3$ comme le choix naturel. L'axe de croissance gonflé supprime le contraste entre les clusters nécessaire pour révéler la partition optimale.
Dimensionnalité effective : Le rapport de participation (PR) est calculé à environ 2,47, indiquant que les sept entrées ne représentent effectivement que ~2,5 mesures indépendantes en raison d'une colinéarité sévère.
Interprétation : Les trois régimes naturels identifiés sont :
1. Ère de faible profit (1995–2005)
2. Ère de reprise (2006–2014)
3. Ère de profit maximal (2015–2019)
  (Avec 2020 comme singularité structurelle). La solution à six clusters est décrite comme une subdivision descriptivement cohérente imposée aux données plutôt qu'une structure recommandée par celles-ci.

3. Supériorité de l'espace 4D-cp

L'espace 4D-cp est identifié comme l'espace de regroupement quantitativement supérieur.

Il obtient le meilleur indice de Davies–Bouldin à $k=6$ (0,557 contre 0,647 en 7D-brut), soit une amélioration de 13,9 %.
L'inclusion de la CP4 (rendement par passager) capture la structure de variance unique de l'année COVID (2020), rendant l'espace cohérent avec l'observation que quatre composantes sont nécessaires pour modéliser pleinement les données.

4. Linéarité de la variété (Manifold)

L'analyse par ACP à noyau confirme que la variété sous-jacente des données est intrinsèquement linéaire, sans courbure cachée.

Accord entre noyaux : Les six noyaux (couvrant les familles basées sur la distance, la géométrie de l'information et les graphes) préservent l'assignation des six clusters dans les projections 2D (ARI = 1,000 entre les projections linéaires et non linéaires).
Diagnostic 1D : Un diagnostic 1D utilisant la première composante de noyau révèle un comportement spécifique : le noyau linéaire confond l'année COVID (C3) avec le cluster de profit maximal (C0). Cependant, tous les cinq noyaux non de base déplacent C3 pour chevaucher le cluster post-crise financière (C5).
Conclusion : L'accord entre des familles de noyaux fondamentalement différentes confirme l'absence de structure non linéaire cachée.

Signification et affirmations

L'article affirme valider la robustesse géométrique du regroupement de la rentabilité des compagnies aériennes de Renold et al. tout en identifiant des lacunes critiques dans la justification méthodologique.

Validation de la stabilité : Le résultat principal selon lequel la structure à six clusters persiste lors du passage de l'espace brut 7D à l'espace 3D-CP est confirmé. L'étude conclut que la colinéarité ne distord pas l'assignation des clusters car la direction colinéaire (croissance séculaire) est orthogonale au critère de partitionnement (régimes temporels).
Correction méthodologique : L'étude affirme que bien que la solution à six clusters soit empiriquement défendable pour l'analyse de politiques nécessitant une résolution temporelle fine, elle est statistiquement sous-spécifiée. Les données soutiennent structurellement trois clusters, un fait occulté par la colinéarité dans l'espace brut.
Confirmation de la linéarité : La validation par croisement de noyaux renforce la conclusion que la variété de la rentabilité aérienne est intrinsèquement linéaire, fermant les critiques de robustesse concernant une courbure cachée.
Recommandation : L'article recommande d'effectuer le k-means sur les vecteurs de scores de l'ACP (spécifiquement l'espace 4D-cp) plutôt que sur les variables brutes afin d'éviter la suppression du signal induite par la colinéarité et pour mieux capturer la variance unique de la période COVID.

L'étude maintient un ton modeste, reconnaissant que la taxonomie à six clusters reste utile à des fins descriptives et que l'affirmation originale d'un retour aux modèles pré-COVID après la pandémie est robuste dans la fenêtre d'observation 1995–2020.