📊 statistics

Modeling within-department homogeneity in research quality rankings: an application to the Italian ISPD

Dieses Papier stellt ein Maximum-Likelihood-Modell vor, das die durch die Größe der Abteilungen bedingte Homogenität innerhalb der deutschen ISPD-Rankings berücksichtigt, um durch die Einführung einer neuen „Betoidal"-Verteilung für kategoriale Daten einen faireren und robusteren Leistungsindex für italienische Forschungsabteilungen zu entwickeln.

Ursprüngliche Autoren: Giorgio E. Montanari, Marco Doretti

Veröffentlicht 2026-04-06

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Giorgio E. Montanari, Marco Doretti

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Italien möchte die besten Universitätsabteilungen des Landes finden und ihnen extra Geld geben. Um das zu tun, hat die Regierung ein Punktesystem namens ISPD entwickelt. Jede Abteilung muss ihre besten Forschungsarbeiten einreichen, Experten bewerten diese, und am Ende bekommt jede Abteilung eine Note zwischen 0 und 100.

Das Problem? Das System hat einen großen Fehler, der wie ein verzerrter Spiegel wirkt.

Das Problem: Der "Gruppen-Effekt"

Stellen Sie sich vor, Sie bewerten die Leistung von Fußballteams.

Team A hat 50 Spieler.
Team B hat 10 Spieler.

Im alten System (ISPD) wurde angenommen, dass jeder Spieler eines Teams völlig unabhängig von den anderen spielt. Das ist aber unrealistisch. In einer echten Abteilung arbeiten die Wissenschaftler zusammen, nutzen dieselben Labore, haben dieselben Strategien und sprechen dieselbe "Fachsprache". Wenn einer gut ist, sind oft alle etwas besser. Wenn einer schlecht ist, zieht das den anderen mit runter. Man nennt das Homogenität (Gleichartigkeit).

Die Analogie:
Stellen Sie sich vor, Sie messen die Lautstärke in zwei Räumen.

In Raum A (kleine Abteilung) sitzen 10 Leute, die sich alle unterhalten. Wenn einer laut wird, werden alle laut.
In Raum B (große Abteilung) sitzen 100 Leute. Auch hier reden alle miteinander, aber die Lautstärke schwankt weniger extrem, weil es mehr verschiedene Stimmen gibt.

Das alte System hat diesen "Gruppeneffekt" ignoriert. Es hat so getan, als wären alle 100 Stimmen in Raum B völlig unabhängig voneinander. Das Ergebnis? Das System hat die großen Teams (Abteilungen) bestraft oder belohnt, nur weil sie groß sind, und nicht weil sie wirklich besser oder schlechter waren.

Das Ergebnis im alten System:
Die Noten waren extrem verzerrt. Viele Abteilungen landeten entweder bei 0 oder bei 100. Es gab kaum mittlere Noten. Das ist wie bei einer Wahl, bei der nur "Ja" oder "Nein" möglich ist, obwohl die Wahrheit irgendwo dazwischen liegt. Man konnte nicht mehr wirklich unterscheiden, wer wirklich gut war und wer nur durchschnittlich.

Die Lösung: Ein neuer, fairer Spiegel

Die Autoren dieses Papiers haben einen neuen Weg gefunden, um das System zu reparieren. Sie haben eine neue mathematische Formel entwickelt, die den "Gruppen-Effekt" berücksichtigt.

Wie funktioniert das?
Stellen Sie sich vor, Sie bewerten nicht nur die Note, sondern auch, wie "eng" die Gruppe zusammenhält.

Bei einer kleinen, sehr engen Gruppe (hohe Korrelation) wissen wir: Eine hohe Note ist weniger beeindruckend, weil sie vielleicht nur durch den Zufall entstanden ist, dass alle sich gegenseitig beeinflusst haben.
Bei einer großen, vielfältigen Gruppe ist eine hohe Note echter Beweis für Qualität.

Die Autoren haben eine neue Verteilung erfunden, die sie "Betoidal" nennen. Der Name klingt kompliziert, ist aber einfach eine Art "Wackel-Verteilung". Sie passt sich an, um zu berechnen, wie viel "Zufall" in den Noten steckt, wenn die Abteilung groß oder klein ist.

Was bringt das?

Fairer Vergleich: Ein kleines Team und ein riesiges Team können jetzt fair verglichen werden. Das System bestraft oder belohnt niemanden mehr nur wegen seiner Größe.
Keine Extreme mehr: Statt dass alle bei 0 oder 100 landen, verteilen sich die Noten wieder schön in der Mitte. Man sieht endlich, wer wirklich hervorragend ist und wer nur gut ist.
Bessere Daten: Das Gute ist: Man braucht dafür keine geheimen Details über jeden einzelnen Wissenschaftler (was oft aus Datenschutzgründen verboten ist). Es reicht, wenn man die Gesamtgröße der Abteilung und die grobe Note kennt.

Zusammenfassung in einem Satz

Die Autoren haben gezeigt, dass das alte Bewertungssystem wie ein falscher Spiegel war, der große Gruppen verzerrt hat, und sie haben einen neuen, klaren Spiegel gebaut, der die Zusammenarbeit innerhalb der Teams berücksichtigt, damit das Geld wirklich an die besten und nicht an die größten oder kleinsten Abteilungen fließt.

Warum ist das wichtig?
Wenn Forschungsgelder verteilt werden, geht es um Millionen von Euro und die Zukunft der Wissenschaft. Ein unfares System bedeutet, dass talentierte Forscher vielleicht leer ausgehen, während andere nur wegen ihrer Größe gewinnen. Die neue Methode sorgt für Gerechtigkeit und Transparenz.

1. Problemstellung

Das Papier untersucht das italienische System zur Bewertung und Rangfolge von Universitätsabteilungen, das auf dem Indice Standardizzato di Performance Dipartimentale (ISPD) basiert. Dieses Index wird von der nationalen Bewertungsagentur ANVUR verwendet, um Forschungsqualität zu messen und die Verteilung von öffentlichen Mitteln (insbesondere für „Departments of Excellence") zu steuern.

Das Kernproblem:
Der aktuelle ISPD weist eine starke Polarisierung auf. Die Verteilung der Indexwerte ist U-förmig, wobei viele Abteilungen extreme Werte (nahe 0 oder 100) erhalten, anstatt sich gleichmäßig zu verteilen. Dies reduziert die Diskriminierungskraft des Indexes und macht es schwierig, herausragende von durchschnittlichen Abteilungen zu unterscheiden.

Die Autoren identifizieren eine bisher nicht ausreichend berücksichtigte Determinante für dieses Phänomen: die Homogenität innerhalb der Abteilungen (Intra-Department-Homogenität).

Statistische Annahme des aktuellen Modells: Der ISPD geht davon aus, dass die standardisierten Bewertungspunkte der eingereichten Forschungsprodukte (Scientific Products, SPs) innerhalb einer Abteilung voneinander unabhängig sind.
Realität: Da Wissenschaftler derselben Abteilung oft ähnliche Forschungsumgebungen, Strategien und Disziplinen teilen, sind ihre Bewertungsergebnisse korreliert.
Folge: Diese positive Korrelation führt dazu, dass die Varianz des gewichteten Durchschnitts (scaled average) mit der Größe der Abteilung ( $N_d$ ) zunimmt. Das aktuelle Modell unterschätzt diese Varianz. Dadurch werden große Abteilungen systematisch in die Extrembereiche des Rankings gedrängt (Polarisierung), während Vergleiche zwischen Abteilungen unterschiedlicher Größe unfair werden.

2. Methodik

Die Autoren schlagen einen neuen statistischen Rahmen vor, der die intra-departmentale Korrelation explizit modelliert und schätzt.

A. Theoretische Anpassung des ISPD
Statt den gewichteten Durchschnitt $\tilde{z}_d$ direkt in die Standard-Normalverteilungsfunktion $\Phi$ einzuspeisen, wird dieser durch die abteilungsspezifische Standardabweichung $\sigma_d$ skaliert:
$ISPD^{adj}_d = \lfloor 200 \cdot \Phi(\tilde{z}_d / \sigma_d) + 0.5 \rfloor / 2$
Dabei ist $\sigma_d = \sqrt{1 + \rho_d(N_d - 1)}$ , wobei $\rho_d$ der durchschnittliche Korrelationskoeffizient innerhalb der Abteilung $d$ ist.

B. Modellierung der Korrelation ( $\rho_d$ )
Da Mikrodaten (Einzelbewertungen der SPs) für die Öffentlichkeit nicht verfügbar sind, muss $\rho_d$ aus den aggregierten ISPD-Daten geschätzt werden. Die Autoren postulieren, dass die Korrelation mit der Größe der Abteilung abnimmt (größere Abteilungen sind heterogener).
Sie führen ein Full Correlation Model (FCM) ein:
$\text{logit-ähnliche Transformation: } F(\rho_d) = \alpha + \beta(N_d - 1)$
Hierbei ist $\beta$ erwartungsgemäß negativ. Dies erlaubt es, $\rho_d$ als Funktion der Abteilungsgröße zu schätzen.

C. Schätzung mit öffentlichen Daten (Betoidal-Verteilung)
Ein zentrales methodisches Hindernis ist, dass die veröffentlichten ISPD-Werte gerundet und diskretisiert sind (Schrittweite 0,5) und für das Jahr 2022 nur der obere Teil der Verteilung (Top 350) verfügbar ist (Linkstruncierung).
Um dies zu lösen, führen die Autoren eine neue Wahrscheinlichkeitsverteilung ein: die Betoidal-Verteilung.

Sie ist die Verteilung von $X = \Phi(Z)$ , wobei $Z \sim N(0, \sigma^2)$ .
Sie ähnelt einer symmetrischen Beta-Verteilung, ist aber analytisch anders definiert.
Für die 2022-Daten wird eine linkstruncierte Version (LT-Betoidal) verwendet.
Die Parameterschätzung ( $\alpha, \beta$ ) erfolgt mittels Maximum Likelihood (ML), wobei die Likelihood-Funktion auf der diskretisierten und ggf. truncierten Betoidal-Verteilung basiert.

3. Wichtige Beiträge

Identifikation der Polarisation-Ursache: Nachweis, dass die Vernachlässigung intra-departmentaler Korrelationen die Hauptursache für die extreme Polarisierung des ISPD ist und zu Verzerrungen bei der Vergleichbarkeit von Abteilungen unterschiedlicher Größe führt.
Neue Verteilung (Betoidal): Einführung der Betoidal-Verteilung als mathematisches Werkzeug, um die Verteilung von transformierten Normalvariablen unter Berücksichtigung von Rundung und Truncierung exakt zu modellieren.
Robustes Schätzverfahren: Entwicklung eines ML-Schätzverfahrens, das nur mit aggregierten Makrodaten (ISPD-Rankings und Abteilungsgrößen) auskommt, ohne auf nicht-öffentliche Mikrodaten zugreifen zu müssen.
Vergleich von Korrekturmodellen: Evaluation verschiedener Anpassungsansätze (nicht-parametrisch, Random Intercept Model, und das vorgeschlagene FCM).

4. Ergebnisse

Empirische Analyse (Daten 2017 und 2022):

Die ML-Schätzungen bestätigen signifikant positive intra-departmentale Korrelationen ( $\rho_d > 0$ ).
Der Parameter $\beta$ ist negativ und signifikant, was bestätigt, dass die Korrelation mit zunehmender Abteilungsgröße abnimmt.
Likelihood-Ratio-Tests (LRT) lehnen das Null-Korrelations-Modell (aktuelles ISPD) und das Modell mit konstanter Korrelation (CCM) zugunsten des FCM ab.
Die geschätzten Standardabweichungen $\sigma_d$ sind deutlich größer als 1 (oft zwischen 2 und 3), was die starke Überdispersion der Daten belegt.

Simulationsstudie:
Eine Simulation mit 1000 Wiederholungen verglich den ursprünglichen ISPD mit drei angepassten Versionen ( $ISPD_{np}$ , $ISPD_{rim}$ , $ISPD_{fcm}$ ) unter verschiedenen Störgrößen-Szenarien.

Metriken: Mittlere absolute Abweichung (MAD) vom wahren Wert und Prozentsatz inkonsistenter Paarvergleiche (PDC).
Ergebnis: Der vorgeschlagene $ISPD_{fcm}$ (basierend auf dem Full Correlation Model) übertrifft alle anderen Methoden deutlich.
- Er weist die geringste MAD auf (nahe 0 im Basisfall).
- Er minimiert die Anzahl falscher Rangfolgen (PDC) drastisch.
- Die nicht-parametrische Schätzung ( $ISPD_{np}$ ) erwies sich als instabil und führte zu vielen Rangwechseln.
- Selbst bei starken Störungen der Korrelationsstruktur bleibt $ISPD_{fcm}$ dem Original-Index überlegen.

5. Bedeutung und Fazit

Das Papier zeigt, dass methodische Entscheidungen bei der Konstruktion von Leistungsindizes nicht nur technische Details sind, sondern direkte distributive Konsequenzen haben.

Fairness: Durch die Korrektur der Varianz werden große Abteilungen nicht mehr systematisch bestraft oder bevorzugt, was zu faireren Paarvergleichen führt.
Diskriminierungskraft: Die angepassten Indizes vermeiden die künstliche Häufung von Werten an den Extremen und ermöglichen eine differenziertere Unterscheidung zwischen Abteilungen.
Transparenz und Rechenschaftspflicht: Da Rankings über erhebliche Finanzmittel entscheiden, ist es essenziell, die statistischen Annahmen (insbesondere Korrelationsstrukturen) offenzulegen und korrekt zu modellieren.
Praktische Anwendbarkeit: Der vorgeschlagene Ansatz ist auch ohne Zugang zu sensiblen Mikrodaten anwendbar, was ihn für unabhängige Analysen und politische Diskussionen wertvoll macht.

Zusammenfassend fordert das Paper eine Reform des ISPD, die die intra-departmentale Homogenität durch eine größenabhängige Korrelationsstruktur berücksichtigt, um die Legitimität und Genauigkeit des italienischen Forschungs评价体系 zu gewährleisten.