The Corporate Bond Factor Replication Crisis

Dit paper toont aan dat de meeste eerder gedocumenteerde obligatiefactoren statistisch niet significant zijn na correctie voor meetfouten in transactieprijzen en asymmetrische ex-post filtering, en biedt een open-source framework voor reproduceerbaar onderzoek.

De kern

De Grote Bedrogspiegel in de Obligatiemarkt: Waarom de "Sterke" Beleggingsstrategieën vaak nep zijn

Stel je voor dat je een kaartspel speelt met een vriend. Jullie proberen een strategie te bedenken om altijd te winnen. Jij zegt: "Ik heb een truc gevonden! Als ik naar de kaarten kijk die we gisteren hebben getrokken, kan ik voorspellen welke kaarten we morgen krijgen." Je toont je vriend een notitieboekje vol met winnende strategieën. Hij is onder de indruk en geeft je geld.

Maar later blijkt dat je vriend de regels heeft geschonden: hij keek in je notitieboekje nadat hij wist welke kaarten er zouden komen, en hij keek ook naar de kaarten die hij zelf had getrokken om te beslissen welke hij zou houden.

Dit is precies wat er aan de hand is met dit nieuwe wetenschappelijke artikel over corporate bonds (ondernemingsobligaties). De auteurs, Alexander Dickerson, Cesare Robotti en Giulio Rossetti, zeggen: "De hele wereld van obligatie-investeringen zit vol met nep-resultaten." Ze hebben een 'dierentuin' van 108 verschillende beleggingsstrategieën onderzocht en ontdekken dat de meeste van deze strategieën niet werken zoals ze lijken.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen.

1. Het Probleem: Een Spel met een Vervormde Spiegel

In de wereld van obligaties is het heel lastig om de echte prijs van een obligatie te weten. Obligaties worden niet elke seconde verhandeld zoals aandelen. Soms wordt er maar één keer per maand een deal gesloten.

De onderzoekers zeggen dat de meeste studies twee grote fouten maken, waardoor de winst er veel groener uitziet dan hij in werkelijkheid is.

Fout A: De "Dubbelgebruikte" Prijs (Latent Implementation Bias)

Stel je voor dat je een race organiseert. Je gebruikt een meetlint om te bepalen wie start (de signalen), maar je gebruikt exact hetzelfde meetlint om te meten hoe snel ze hebben gelopen (de winst).

• Wat er gebeurt: De prijs die een onderzoeker gebruikt om te beslissen welke obligatie hij koopt, is vaak een "ruwe" transactieprijs. Deze prijs is niet perfect; hij zit vol met ruis (zoals een trillende weegschaal).
• De valstrik: Omdat dezelfde ruwe prijs wordt gebruikt om te kiezen én om de winst te berekenen, ontstaat er een wiskundige illusie. Het is alsof je een spiegel gebruikt die de winst automatisch opblaast.
• Het resultaat: Strategieën die lijken op te leveren (bijvoorbeeld 1% per maand), leveren in de praktijk vaak niets op. De "winst" was eigenlijk alleen maar een meetfout.
• Voorbeeld: De "Short-term Reversal" strategie (kopen wat gisteren daalde, verkopen wat gisteren steeg) leek 0,99% per maand te verdienen. Na het corrigeren van deze spiegel-fout bleek het slechts 0,09% te zijn. De rest was nep.

Fout B: Het "Kijken in de Toekomst" (Look-Ahead Bias)

Stel je voor dat je een film bekijkt, maar je mag alleen de scènes bekijken die je al hebt gezien. Maar in de studies kijken onderzoekers soms onbewust naar het einde van de film om te beslissen welke scènes ze in hun verslag opnemen.

• Wat er gebeurt: Onderzoekers filteren vaak de slechtste resultaten weg (bijvoorbeeld obligaties die crashen) om hun resultaten "mooier" te maken. Maar ze doen dit vaak met kennis van zaken die ze op dat moment nog niet hadden. Ze gebruiken de hele geschiedenis om te beslissen welke data ze weggooien.
• De valstrik: Dit is alsof je een examen maakt, en je mag pas beginnen met het nakijken als je het antwoordboekje van de leraar hebt gezien. Je kunt dan makkelijk zeggen: "Ik heb alle moeilijke vragen weggelaten, dus mijn cijfer is perfect."
• Het resultaat: Veel strategieën, zoals "momentum" (kopen wat stijgt), lijken alleen maar te werken omdat de slechte resultaten eruit zijn geknipt. Als je dit niet doet, is de strategie vaak verlieslatend.
• Voorbeeld: Een strategie die leek op te leveren door extreme verliezen weg te laten, bleek in werkelijkheid een verliesstrategie te zijn. De "winst" kwam puur door het weglaten van de slechte momenten die je in het echt niet had kunnen voorkomen.

2. De Oplossing: Een Schone Leest

De auteurs zeggen niet dat beleggen in obligaties onmogelijk is, maar dat we de regels moeten veranderen. Ze hebben een nieuwe "recept" gemaakt:

1. Gebruik verschillende meetlinten: Gebruik een andere prijs om te kiezen dan om de winst te meten. Zorg voor een tijdskloof (een "gap") tussen het moment dat je kijkt en het moment dat je koopt.
2. Kijk niet in de toekomst: Filter data alleen met informatie die je op dat moment al had. Geen terugblikken naar morgen.
3. Wees eerlijk over de onzekerheid: Er is geen enkele "juiste" manier om data te verwerken. Als je kleine veranderingen maakt in hoe je data sorteert, veranderen de resultaten soms enorm. Dit noemen ze "Niet-standaardfouten". Het is alsof je een cake bakt: als je de oven 1 minuut langer of korter aanzet, kan de cake zinken of verbranden. De onderzoekers zeggen: "Wees voorzichtig met je cake-oven."

3. Wat blijft er over?

Na al deze correcties, wat blijft er dan van die 108 strategieën over?

• De meeste zijn verdwenen: De meeste "wonderstrategieën" bleken nep.
• Een paar echte pareltjes: Er blijven een paar strategieën over die echt werken, vooral die gebaseerd op de waarde van obligaties ten opzichte van hun kredietrisico (zoals een "goedkope" obligatie kopen die eigenlijk veel waard is). Maar zelfs deze zijn minder winstgevend dan eerder werd gedacht.

Conclusie: De Gouden Standaard

De boodschap van dit papier is als een waarschuwing aan alle beleggers en economen:

"Stop met vertrouwen op de mooie cijfers die je ziet in oude rapporten. Die cijfers zijn vaak het resultaat van meetfouten en het weglaten van slechte momenten. Als je eerlijk meet, zonder in de toekomst te kijken en zonder dezelfde meetfouten te maken, blijken de meeste 'wonderstrategieën' in de obligatiemarkt niet te werken."

Ze bieden nu ook gratis software en data aan (een soort "open keuken") zodat iedereen zelf kan nagaan of een strategie echt werkt of niet, zonder de oude trucs te gebruiken.

Kort samengevat: De obligatiemarkt is een spiegelzaal. Veel wat je ziet, is een illusie. Als je de spiegels verwijdert en eerlijk meet, zie je dat de meeste "winstgevende" strategieën eigenlijk gewoon toeval of meetfouten zijn.

Technische samenvatting

1. Het Probleem: Een Replicatiecrisis in Obligatiefactoren

Het artikel stelt dat onderzoek naar factoren op corporate obligaties (bedrijfsobligaties) geconfronteerd wordt met een ernstige replicatiecrisis. De meeste eerder gedocumenteerde factoren die een significant risicogewijzigd rendement (alpha) zouden moeten opleveren, blijken na correctie voor meetfouten en methodologische vertekeningen geen economisch betekenisvolle prestaties meer te leveren.

De schijnbare prestaties van deze factoren worden grotendeels veroorzaakt door twee systematische biases die de gemeten premies kunstmatig inflateren:

1. Latente Implementatiebias (LIB): Ontstaat door meetfouten in transactieprijzen die zowel in het sorteringssignaal als in de rendementen worden gebruikt, gecombineerd met het feit dat deze prijzen niet direct uitvoerbaar zijn in de OTC-markt.
2. Look-Ahead Bias (LAB): Ontstaat door asymmetrische filtering van rendementen ex-post (na het feit), waarbij toekomstige informatie onbewust wordt gebruikt bij het construeren van factoren.

Daarnaast speelt een derde probleem een rol: Niet-standaardfouten (NSE). Door het ontbreken van gestandaardiseerde data en methoden, leiden verschillende keuzes van onderzoekers (data-filtering, portfolio-construktie) tot enorme variatie in geschatte premies, die vaak groter is dan de steekproeffout.

2. Methodologie en Data

De auteurs hebben een open-source framework ontwikkeld om deze problemen aan te pakken en een "factor zoo" van 108 signalen geanalyseerd, verdeeld over negen thematische clusters (o.a. spreads, yields, value, momentum, volatiliteit).

Data-Infrastructuur:

• Gebruik van ruwe TRACE-transactiedata (Trade Reporting and Compliance Engine) en Rule 144A data.
• Een volledig open-source pipeline die ruwe transacties omzet in maandelijkse prijzen, yields en spreads.
• Inclusief behandeling van default-situaties (bonds worden niet verwijderd bij default, maar gevolgd) en correcties voor recording errors (bijv. decimale verschuivingen).
• Beschikbaar via Open Bond Asset Pricing en PyBondLab.

Correctie voor Latente Implementatiebias (LIB):
De LIB ontstaat doordat dezelfde ruis ($\delta_{i,t}$) in de transactieprijs zowel het sorteringssignaal als de noemer van het rendement beïnvloedt (Correlated Errors-in-Variables probleem).

• Oplossing: De auteurs introduceren een "gap procedure".
  • Signaal-gap: Het sorteringssignaal wordt berekend op basis van een prijs die minstens één handelsdag voor de maand-eindprijs ligt.
  • Rendement-gap: Rendementen worden berekend vanaf de eerste beschikbare prijs van de volgende maand (month-begin), in plaats van de maand-eindprijs.
• Dit breekt de mechanische correlatie tussen signaalfout en rendementsfout.

Correctie voor Look-Ahead Bias (LAB):
Veel studies gebruiken ex-post filtering (bijv. winsorizing of trimmen van extreme waarden) waarbij de drempels worden berekend op basis van de volledige steekproef (inclusief toekomstige data).

• Oplossing: Implementatie van ex-ante filtering. Drempels worden uitsluitend berekend op basis van data die op het moment van portfolio-vorming beschikbaar was.
• Dit elimineert de mogelijkheid om toekomstige uitschieters te "voorspellen" en te verwijderen.

Kwantificering van Onzekerheid (NSE):
De auteurs meten de variatie in geschatte premies veroorzaakt door verschillende research-keuzes (data-filtering en portfolio-construktie) en vergelijken dit met de steekproeffout (Standard Error - SE).

• NSE (Non-Standard Error): Gedefinieerd als het interkwartielbereik van geschatte premies over alle mogelijke specificatiepaden.
• Ratio NSE/SE: Een ratio > 1 impliceert dat de keuze van de onderzoeker meer invloed heeft op het resultaat dan statistische ruis.

3. Belangrijkste Resultaten

A. Dominantie van LIB en LAB
Na correctie voor LIB en LAB verdwijnt het merendeel van de eerder gevonden alphas:

• Short-term Reversal: De maandelijkse premie daalt van -0,99% naar -0,09% (bias > 90%). De t-statistiek daalt van -4,46 naar -0,51.
• Momentum: De 6-maands momentum-premie van 0,30% is volledig toe te schrijven aan ex-post winsorizing. Zonder filtering is de premie 0%. De 12-maands momentum wordt zelfs een verliezende factor (-0,13%) zonder filtering.
• Idiosyncratische Volatiliteit & Downside Risk: 57-78% van de gemeten alpha is toe te schrijven aan asymmetrische filtering.
• Alleenstaande Overlevenden: Slechts een klein subset van factoren, specifiek value-factoren gebaseerd op credit spreads, behoudt een statistisch significant rendement na correctie. Deze behouden ongeveer de helft van hun oorspronkelijke premie.

B. Statistische Significantie na Correctie

• Van de 432 factor-specificatiecombinaties (108 signalen × 2 wegingen × 2 sorteermethodes) overleven slechts 26 (6,0%) een correctie voor het False Discovery Rate (FDR) probleem (Benjamini-Hochberg procedure).
• De overlevende factoren zijn geconcentreerd in de "Value" cluster gebaseerd op credit spreads.
• Voor Illiquiditeitsfactoren is geen enkele CAPM-alpha significant verschillend van nul.

C. Niet-Standaardfouten (NSE) en Robuustheid
Zelfs na correctie voor biases blijft de schatting van premies fragiel:

• De gemiddelde NSE voor data-onzekerheid is 0,35% per maand, wat hoger is dan de gemiddelde premie van 0,33%.
• De NSE/SE ratio bedraagt gemiddeld 1,15 voor data-onzekerheid en 1,45 voor methodologische onzekerheid.
• Dit betekent dat twee onderzoekers met dezelfde data maar verschillende filterkeuzes tot tegenstrijdige conclusies kunnen komen over de significantie van een factor.
• Voor 12 van de 36 top-factoren wisselt het teken van de premie (positief/negatief) afhankelijk van de gekozen portfolio-construktie.

4. Bijdragen en Significatie

Technische Bijdragen:

1. Formalisatie van LIB: Het artikel biedt een formeel raamwerk voor de "Latent Implementation Bias" in corporate bonds, waarbij het CEIV-probleem (Correlated Errors-in-Variables) en de niet-uitvoerbaarheid van OTC-prijzen worden gekwantificeerd.
2. Kwantificering van LAB: Het toont aan dat ex-post filtering, vaak gerechtvaardigd als "outlier removal", in feite een look-ahead bias introduceert die rendementen kunstmatig verhoogt, vooral tijdens crisissen.
3. Open Source Ecosysteem: De auteurs leveren een volledig reproduceerbaar ecosysteem:
   • Data: Error-corrected TRACE data (dagelijks en maandelijks).
   • Software: PyBondLab voor het construeren van bias-vrije factoren.
   • Factor Zoo: Een publieke dataset van 108 factoren.

Wetenschappelijke en Praktische Betekenis:

• Herstel van Geloofwaardigheid: Het artikel stelt dat de "factor zoo" in corporate bonds grotendeels een artefact is van meetfouten en methodologische vertekeningen, vergelijkbaar met de crisis in equity-factorenonderzoek.
• Nieuwe Standaard: Het pleit voor een nieuwe standaard in obligatieonderzoek:
  1. Gebruik van signaal- en rendementsgaps om LIB te elimineren.
  2. Strikte ex-ante filtering om LAB te voorkomen.
  3. Rapportage van methodologische onzekerheid (NSE) naast steekproeffouten.
• Investering: Voor beleggers betekent dit dat de meeste "alpha"-strategieën op corporate obligaties waarschijnlijk niet uitvoerbaar zijn in de praktijk. Alleen credit-spread gebaseerde value-strategieën lijken robuust, maar zelfs deze vereisen zorgvuldige implementatie zonder data-mining.

Conclusie:
De auteurs concluderen dat de corporate bond factor research fundamenteel moet veranderen. Zonder het aanpakken van LIB, LAB en NSE zijn de meeste gepubliceerde resultaten onbetrouwbaar. Hun open-source framework biedt de tools om toekomstig onderzoek reproduceerbaar en robuust te maken.