Diagnostic Feedback under Hidden Task Difficulty

Technische Samenvatting: Diagnostische Feedback onder Verborgen Taakmoeilijkheid

Probleem en Motivatie
Het artikel onderzoekt een signaling game waarin een geïnformeerde evaluator (de principal) besluit of zij een diagnostisch instrument koopt om de bekwaamheid van een agent te onthullen voordat de agent kostbare inspanning levert. De kernspanning ontstaat doordat de diagnostiek een dubbel doel dient: het biedt de agent zelfkennis (bekwaamheid), maar de beslissing om het te kopen (adoptie) kan de private informatie van de evaluator met betrekking tot de moeilijkheidsgraad van de taak onthullen.

De auteurs dagen de intuïtie uit dat het verbergen van informatie over de taak de geproduceerde informatie over de agent zou verminderen of onveranderd zou laten. In plaats daarvan laten zij zien dat verborgen taakmoeilijkheid informatie over de agent kan genereren die onder transparantie niet zou bestaan. Dit komt doordat de adoptiebeslissing fungeert als een tweede signaal, dat naar de taak wijst in plaats van naar de persoon, wat de interpretatie van het diagnostische resultaat door de agent verandert.

Methodologie en Modelopstelling
De auteurs maken gebruik van een speltheoretisch kader met twee spelers: een evaluator ($P$) en een agent ($A$).

• Omgeving: Natuur trekt een taakmoeilijkheid $t \in \{E, D\}$ (Eenvoudig of Moeilijk) en een agent-bekwaamheid $\theta \in \{L, H\}$ (Laag of Hoog). De evaluator observeert $t$; de agent observeert aanvankelijk noch $t$, noch $\theta$.
• Inspanning en Rendement: De agent kiest een binaire inspanning $e \in \{0, 1\}$ tegen kosten $c$. Het marginale rendement kruist over verschillende taak-bekwaamheid-paren heen: inspanning is het meest productief voor een lage bekwaamheid bij een eenvoudige taak en voor een hoge bekwaamheid bij een moeilijke taak. Deze "kruisende" eigenschap wordt afgeleid van een standaard drempelwaarde-technologie waarbij inspanning het meest cruciaal is voor de agent die het dichtst bij de succesvereiste staat.
• Diagnostiek: De evaluator kan publiekelijk een diagnostiek ($z=1$) kopen tegen kosten $K$ die $\theta$ perfect onthult. Als $z=0$, blijft de bekwaamheid onbekend.
• Timing: Natuur trekt $(t, \theta)$; $P$ observeert $t$; $P$ kiest $z$; als $z=1$, wordt $\theta$ onthuld; $A$ kiest $e$; succes wordt gerealiseerd.
• Aannames: De analyse richt zich op een parametervolgorde waarbij hoge bekwaamheid algemeen is ($\pi > 1/2$), moeilijke taken zeldzaam zijn ($\rho$ is klein) en de diagnostiek kosten $K$ intermediair zijn. Cruciaal is dat zonder diagnostiek de agent niet werkt op eenvoudige taken (verwacht rendement $< c$), maar wel werkt op moeilijke taken (verwacht rendement $> c$) vanwege de pooling van bekwaamheidstypes.

Belangrijkste Resultaten

1. Feedback Reversal (Feedback-omkering): Het motiverende effect van een diagnostisch resultaat hangt af van de taak.

   • Bij een eenvoudige taak werkt een agent met een lage bekwaamheid (omdat het resultaat "ongunstig" is ten opzichte van de vereiste, wat de inspanning cruciaal maakt), terwijl een agent met een hoge bekwaamheid dat niet doet.
   • Bij een moeilijke taak werkt een agent met een hoge bekwaamheid (gunstig resultaat), terwijl een agent met een lage bekwaamheid dat niet doet.
   • Dus: "gunstige" feedback induceert inspanning alleen wanneer adoptie een moeilijke taak onthult; "ongunstige" feedback induceert inspanning alleen wanneer adoptie een eenvoudige taak onthult.

2. Scheidend Evenwicht onder Verborgen Moeilijkheid:

   • Onder verborgen moeilijkheid bestaat er een uniek Perfect Bayesian Equilibrium (PBE) dat voldoet aan de D1-verfijning, waarbij alleen de evaluator van de moeilijke taak de diagnostiek koopt.
   • Mechanisme: De evaluator van de moeilijke taak koopt de diagnostiek om zichzelf te onderscheiden van de evaluator van de eenvoudige taak. Als zij de diagnostiek niet koopt, gaat de agent ervan uit dat de taak eenvoudig is (of poolt op geen diagnostiek) en werkt de agent niet. Door de diagnostiek te kopen, signaleert zij een moeilijke taak; de agent werkt dan indien het resultaat een hoge bekwaamheid aangeeft. De evaluator van de eenvoudige taak kan dit niet imiteren omdat de kosten $K$ hoger zijn dan de verwachte winst uit het induceren van lage-bekwaamheid-agenten om te werken op een eenvoudige taak.
   • D1 Selectie: Pooling-evenwichten (waarbij niemand koopt) worden geëlimineerd door D1 omdat een onverwachte diagnostiek strikt onrendabel is voor het eenvoudige type onder elke reactie van de agent, maar winstgevend is voor het moeilijke type als de agent een moeilijke taak afleidt.

3. Benchmarks (Transparantie en Commitment):

   • Publieke Moeilijkheid: Als de taakmoeilijkheid publiek is, diagnosticeert geen enkele evaluator.
     • Bij eenvoudige taken: De diagnostiek motiveert te weinig agenten (alleen lage bekwaamheid) om de kosten te dekken.
     • Bij moeilijke taken: De diagnostiek is contraproductief. Zonder de diagnostiek motiveert de onzekerheid over de bekwaamheid beide types om te werken (omdat het verwachte rendement hoog is). Het onthullen van de bekwaamheid stopt de lage-bekwaamheid-agenten met werken, wat het rendement van de evaluator vermindert.
   • Toestandsonafhankelijke Commitment: Als de evaluator moet besluiten over een beleid voordat de moeilijkheid wordt waargenomen, kiest zij voor geen diagnostiek. De waarde van het instrument ligt in zijn vermogen om de specifieke toestand (taakmoeilijkheid) te signaleren; zonder deze toestand-contingentie draagt de adoptiebeslissing geen informatie over, en is de diagnostiek de kosten niet waard.

4. Robuustheid:

   • Het mechanisme overleeft continue inspanning (waarbij de intensiteit van de inspanning varieert met de waargenomen productiviteit) en imperfecte diagnostiek (ruis in de signalen), mits de nauwkeurigheid van de diagnostiek voldoende hoog is.
   • De resultaten keren exact om als het modale bekwaamheidstype Laag is en taken Eenvoudig zijn, wat bevestigt dat het mechanisme steunt op de kruisende rendementen en de zeldzaamheid van het "productieve" taak-bekwaamheidspaar, en niet op specifieke labels.

Betekenis en Bijdragen
Het artikel levert drie primaire bijdragen aan de literatuur over signaling, informatieontwerp en motivatie:

1. Endogene Informatieverwerving als Signaling: In tegenstelling tot standaardmodellen waar de informatie van de principal over de agent gaat, gaat het hier over de informatie van de principal over het milieu (de taak). Het artikel laat zien dat de handeling van het verwerven van informatie over de agent (de diagnostiek) kan dienen als een geloofwaardig signaal over de omgeving. Dit creëert een kloof tussen verborgen en publieke informatie-regimes die niet bestaat in standaard cheap-talk modellen.
2. Diagnostische Over-adoptie: De auteurs identificeren een fenomeen waarbij assessments met een positieve waarschijnlijkheid worden gekocht onder verborgen moeilijkheid, maar met een kans van nul onder transparantie. Deze "over-adoptie" is geen effect van de waarde van informatie, maar een signaling-evenwicht waarbij de aankoop zelf het waardevolle signaal is.
3. Contextafhankelijke Feedback: Het artikel toont aan dat de motiverende impact van feedback (gunstig versus ongunstig) niet intrinsiek is aan het label, maar wordt bepaald door de inferentie die wordt getrokken uit de adoptie van het feedbackmechanisme. Dit biedt een theoretische basis voor de heterogene en signaal-omkerende effecten van feedback die in empirische studies worden waargenomen.

Welvaartsimplicaties
Het artikel stelt expliciet dat diagnostische over-adoptie niet automatisch een welvaartswinst impliceert.

• Verborgen moeilijkheid verbetert de welvaart ten opzichte van oninformatieve pooling door productieve inspanning te genereren van hoge-bekwaamheid-agenten op moeilijke taken.
• Vergeleken met publieke moeilijkheid is de welvaartshierarchie echter ambigu. Publieke moeilijkheid bespaart de diagnostiekfee en kan inspanning van lage-bekwaamheid-agenten op moeilijke taken in stand houden (door onopgeloste onzekerheid). Of het verbergen van de moeilijkheid sociaal wenselijk is, hangt af van de sociale waarde van de extra inspanning van lage bekwaamheid versus de kosten van de diagnostiekfee.

Conclusie
Het artikel concludeert dat het verbergen van de moeilijkheid meer informatie over de persoon kan genereren, omdat de handeling van het zoeken naar die informatie informatief wordt over de taak. Het mechanisme steunt op kruisende rendementen en het onvermogen van de evaluator om een toestandsonafhankelijk beleid te committeren. De bevindingen suggereren dat in situaties waarin evaluatoren de taakmoeilijkheid privé kennen, de beslissing om te beoordelen even informatief is als de beoordeling zelf.