Signal in the Noise: Decoding the Reality of Airline Service Quality with Large Language Models

Deze studie toont aan dat een Large Language Model-framework ongestructureerde online feedback effectiever kan decoderen dan traditionele methoden om specifieke serviceproblemen en een opvallende perceptiekloof bij EgyptAir te identificeren, waardoor waardevolle strategische inzichten voor de luchtvaartsector worden gegenereerd.

De kern

De Geluidsfilm in het Ruis: Wat Passagiers Echte Kwaliteit Vinden (en Wat niet)

Stel je voor dat een luchtvaartmaatschappij een auto is. De traditionele manier om te kijken of die auto goed rijdt, is door naar de cijfers te kijken: Hoeveel kilometer per uur gaat hij? Hoeveel benzine verbruikt hij? Is de motor veilig? Dit zijn de operationele cijfers (zoals punctualiteit en veiligheid).

Maar wat als de auto perfect rijdt volgens de cijfers, maar de passagier zich toch rot voelt? Misschien is de radio kapot, is de chauffeur onbeleefd, of praat hij nooit met je terwijl je vaststaat in de file. De passagier zegt dan: "Ik haat deze rit," terwijl de monteur zegt: "De motor is perfect."

Dit is precies wat dit onderzoek doet. Het kijkt niet naar de cijfers van de motor, maar luistert naar de passagiers die op internet (TripAdvisor) hun verhaal kwijt zijn. En ze gebruiken hiervoor een slimme computerhulp, een LLM (een soort super-intelligente vertaler en samenvatter), om uit duizenden losse verhalen de echte oorzaken van onvrede te halen.

Hier is de samenvatting van het verhaal, vertaald naar gewoon Nederlands:

1. Het Probleem: De Cijfers liegen (of vertellen tenminste niet het hele verhaal)

Vroeger keken luchtvaartmaatschappijen alleen naar enquêtes met vinkjes: "Was de stoel comfortabel? Ja/Nee." Maar mensen schrijven op internet veel meer dan dat. Ze vertellen verhalen.

• Het oude systeem: Zie het als een kassalijstje. Je ziet alleen de totale som.
• De nieuwe methode (LLM): Dit is als een detective die elke zin in dat verhaal leest en begrijpt waarom iemand boos is.

2. De Twee Spelers: EgyptAir vs. Emirates

De onderzoekers vergeleken twee vliegtuigmaatschappijen:

• Emirates: De "Gouden Standaard". Zeer betrouwbaar, altijd op tijd, en passagiers zijn blij.
• EgyptAir: De nationale trots van Egypte. Ze hebben de afgelopen jaren hard gewerkt om hun vliegtuigen en tijdschema's te verbeteren. Volgens de cijfers gaat het ze vooruit.

Maar dan komt de verrassing:
Terwijl EgyptAir technisch gezien beter werd (minder vertragingen, veiligere vliegtuigen), werden de passagiers bozer. Sinds 2022 zakt de tevredenheid van EgyptAir naar een dieptepunt (minder dan 2 op 5 sterren).

• De analogie: Het is alsof je een restaurant hebt dat zijn keuken volledig heeft vernieuwd en de beste koks heeft, maar de ober schreeuwt tegen de gasten en vergeet hun bestelling. De keuken is perfect, maar de gasten gaan niet meer terug.

3. Wat Vond de Slimme Computer? (De "Ruis" ontcijferd)

De computer las meer dan 16.000 reviews en vond drie grote problemen die de traditionele cijfers niet zagen:

• Het "Stilte"-Probleem: Passagiers zijn niet zo boos als een vlucht vertraagt (dat kan gebeuren). Ze zijn woedend als niemand hen vertelt waarom het vertraagt.
  • Vergelijking: Als je in de file staat en de radio zegt "Er is een ongeluk, we staan vast", is het minder erg dan als je in de file staat en niemand iets zegt. De onzekerheid is het ergste.
• De "Onbeleefde Ober": De grootste klacht was niet over het eten of de stoelen, maar over het gedrag van het personeel. Mensen schreven over schreeuwende stewardessen en een houding die als "onbeleefd" of zelfs "discriminerend" werd ervaren.
• De Geografische Valstrik: EgyptAir doet het het slechtst bij de mensen die het belangrijkst zijn voor de toerisme-industrie van Egypte: gasten uit de Golfstaten (zoals Dubai en Saoedi-Arabië) en Azië. Hier is de gemiddelde score zo laag (1,2!) dat het bijna een ramp is voor het toerisme.

4. De Grote Les: "Software" is belangrijker dan "Hardware"

Het onderzoek concludeert iets heel belangrijks voor EgyptAir:
Ze hebben hun "hardware" (vliegtuigen, bagagesystemen, veiligheid) verbeterd. Maar hun "software" (de cultuur, de communicatie, de vriendelijkheid) is nog steeds verouderd.

• De Metafoor: Je kunt de mooiste, snelste auto bouwen (hardware), maar als de bestuurder (het personeel) boos is en de radio (communicatie) kapot is, zal niemand in die auto willen zitten.

5. Waarom is dit belangrijk?

Deze studie bewijst dat AI (Large Language Models) een superkrachtige tool is voor bedrijven.

• In plaats van duizenden vragenlijsten te sturen die mensen vaak niet invullen, kun je gewoon luisteren naar wat mensen echt zeggen op internet.
• Het helpt bedrijven om te zien dat ze misschien "op tijd" zijn, maar dat ze hun klanten toch verliezen omdat ze niet goed communiceren of onbeleefd zijn.

Kortom:
Voor EgyptAir is de boodschap duidelijk: Stop met alleen maar vliegtuigen te kopen en begin met het trainen van je personeel en het verbeteren van je communicatie. Als je de passagier niet respecteert, maakt het niet uit hoe snel je vliegt; ze zullen niet meer met je vliegen. En voor de rest van ons: het laat zien dat technologie nu zo slim is dat we eindelijk kunnen horen wat mensen echt bedoelen, zonder dat we door een berg papierwerk hoeven te graven.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Signal in the Noise: Decoding the Reality of Airline Service Quality with Large Language Models", vertaald en samengevat in het Nederlands.

Titel: Signal in de Ruis: Het decoderen van de realiteit van luchthavenkwaliteit met Large Language Models

Auteurs: Ahmed Dawoud, Osama El-Shamy, Ahmed Habashy
Datum: 6 maart 2026

---

1. Het Probleem

Traditionele methoden voor het meten van servicekwaliteit bij luchtvaartmaatschappijen, zoals gestructureerde enquêtes (bijv. gebaseerd op SERVQUAL) en operationele KPI's (zoals On-Time Performance en veiligheidsratings), blijken ontoereikend om de subtiele drijvers van passagierstevredenheid te vangen.

• Beperkingen van bestaande methoden: Enquêtes zijn beperkt tot vooraf gedefinieerde categorieën en missen de "waarom"-factor achter een beoordeling. Operationele data vertellen wat er gebeurd is (bijv. een vertraging), maar niet hoe passagiers zich hierover voelen of welke specifieke interacties de ervaring hebben verpest.
• De Data-uitdaging: Er is een enorme hoeveelheid ongestructureerde, multilinguale en informele tekstdata beschikbaar op platforms zoals TripAdvisor. Eerdere pogingen om deze data te analyseren met traditionele tekstverwerking misten vaak de semantische nuance, konden geen omgang met diverse formuleringen van hetzelfde probleem, en waren inefficiënt bij grote, meertalige datasets.

2. Methodologie

De studie introduceert een geavanceerd analytisch raamwerk dat gebruikmaakt van Large Language Models (LLM's) om ongestructureerde passagiersreviews om te zetten in gestructureerde, kwantificeerbare inzichten.

• Data-acquisitie:

  • Bron: TripAdvisor reviews.
  • Periode: Q1 2016 tot Q1 2025.
  • Dataset: 16.622 reviews (5.171 voor EgyptAir, 11.451 voor Emirates).
  • Talen: 13 verschillende talen.
  • Selectie: Voor de diepteanalyse werden reviews met een score van 1 tot 3 sterren gefilterd (2.857 negatieve reviews voor EgyptAir) om de oorzaken van ontevredenheid te isoleren.

• Het LLM-Pipeline (Clio Framework):
  De auteurs ontwikkelden een meerstapsproces om semantische extractie mogelijk te maken zonder voorafgaande vertaling (om nuance te behouden):

  1. Diagnostische Filtering: Isolatie van negatieve reviews.
  2. Extractie en Standaardisatie: Het LLM mapt diverse, informele formuleringen naar een vaste taxonomie van 36 specifieke serviceproblemen. Het model normaliseert termen (bijv. "onbeleefd personeel" en "slechte houding" worden beide gekoppeld aan "Klantenservice").
  3. Semantische Clustering: De 36 specifieke problemen worden gegroepeerd in 8 macro-categorieën:
     • Airport Services, Bagage, Boeking, Hygiëne, Klantenservice, Vluchtverstoringen, Aan boord ervaring, Veiligheidszorgen.

3. Belangrijkste Bijdragen

• Validatie van een LLM-framework: Het bewijst dat LLM's effectief kunnen worden ingezet om granulaire, actieerbare inzichten uit ongestructureerde, meertalige data te halen, wat de schaalbaarheid van handmatige contentanalyse overtreft.
• Ontmaskering van de "Operatie-Perceptie Disconnect": De studie toont aan dat er een fundamentele kloof kan bestaan tussen technische operationele verbeteringen en de daadwerkelijke passagierservaring.
• Granulaire Diagnostiek: In plaats van brede categorieën biedt het framework diepgaande inzichten in specifieke pijnpunten (bijv. het onderscheid tussen een vertraging zelf en de communicatie over die vertraging).

4. Resultaten en Bevindingen

De analyse van EgyptAir in vergelijking met Emirates (de industriestandaard) leverde schokkende resultaten op:

• De Rating-Collapse bij EgyptAir:

  • Ondanks verbeteringen in operationele metrics (zoals On-Time Performance) na 2022, stortte de passagierstevredenheid van EgyptAir in. De gemiddelde rating daalde van 3,27 (2019) naar onder de 2,0 na 2022 (rond 1,6 in 2024).
  • Emirates behield daarentegen stabiliteit met ratings boven de 3,5.

• Systeemische Erosie vs. Geïsoleerde Falen:

  • Bij EgyptAir was de ontevredenheid systeemisch en verspreid over alle categorieën. Bij Emirates waren negatieve reviews geïsoleerd en daalden ze snel na de topklachten.

• De "Rode Draad" van Klachten (Root Causes):
  De LLM identificeerde dat passagiers minder gefrustreerd zijn door operationele storingen zelf, dan door de menselijke reactie daarop:

  1. Slechte Communicatie: "Slechte communicatie over vertragingen" (536 meldingen) was bijna even vaak een klacht als de vertragingen zelf (690 meldingen).
  2. Gedrag van Personeel: "Onbeleefde stewardessen" (591 meldingen) was de meest voorkomende specifieke klacht. De LLM analyseerde dit als hostiliteit, schreeuwende en discriminatie, niet alleen inefficiëntie.
  3. Tangibele tekortkomingen: Slechte voedselkwaliteit en vertraagde bagage bleven belangrijke factoren, maar waren secundair aan de servicekwaliteit.

• Geografische Kwetsbaarheid:
  EgyptAir presteerde het slechtst in strategisch cruciale markten voor de Egyptische toerisme-industrie:

  • GCC-regio (Golfstaten): Gemiddelde rating van ~1,2 (catastrofaal).
  • Ontwikkelend Azië & Sub-Sahara Afrika: Ratings tussen 1,4 en 2,0.
  • Dit suggereert dat de nationale carrier fungeert als een deterrent voor toerisme uit deze vitale regio's.

5. Betekenis en Conclusie

De studie concludeert dat voor luchtvaartmaatschappijen ervaringsfactoren zwaarder wegen dan technische uitvoering.

• De Paradox: EgyptAir heeft operationele verbeteringen doorgevoerd, maar de passagierservaring is verslechterd door een gebrek aan "software" (cultuur, communicatie, serviceherstel).
• Strategische Implicatie: Voor EgyptAir is investeren in nieuw materieel of bagagesystemen niet voldoende. Er is een fundamentele hervorming van de servicecultuur en communicatieprotocollen nodig om het vertrouwen in cruciale markten (zoals de GCC) terug te winnen.
• Toekomstvisie: Het voorgestelde LLM-framework biedt een superieur diagnostisch instrument voor de luchtvaart- en toerismesector. Het stelt organisaties in staat om van reactief meten (enquêtes) naar proactief "luisteren" naar de ongestructureerde stem van de klant, waardoor ze specifieke, verborgen oorzaken van ontevredenheid kunnen oplossen die traditionele metrics missen.

Kortom, de paper demonstreert dat AI-gedreven analyse van ongestructureerde data essentieel is om de echte "signalen" van passagierservaring te onderscheiden van de "ruis" van traditionele metrics.