📈 economics

Efficient Threshold-based Model for Scientific Productivity Evaluation: a Proposal

Dieses Papier schlägt ein optimiertes, datenschutzkonformes Modell zur Bewertung der wissenschaftlichen Produktivität an italienischen Universitäten vor, indem es bestehende Schwellenwerte der nationalen wissenschaftlichen Qualifikation nutzt, um Echtzeit-Indikatoren zu generieren, die sowohl für die institutionelle Governance als auch für die Verfolgung einzelner Forscher adaptierbar und transparent sind.

Ursprüngliche Autoren: Giuseppe Sergioli, Francesco Bianchini, Pierluigi Graziani

Veröffentlicht 2026-06-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Giuseppe Sergioli, Francesco Bianchini, Pierluigi Graziani

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine riesige Bibliothek vor, in der tausende Wissenschaftler jedes Jahr Bücher und Artikel schreiben. Alle paar Jahre versucht die Bibliotheksleitung herauszufinden, welche Fachbereiche die beste Arbeit leisten. Normallei gleicht dieser Prozess einem riesigen, mehrjährigen Olympischen Spiel: Er ist teuer, zeitaufwendig und findet nur gelegentlich statt.

Dieses Paper schlägt ein viel einfacheres „Echtzeit“-Scoreboard vor. Anstatt auf die Olympischen Spiele zu warten, schlägt es die Verwendung eines Satzes bereits existierender „Bestehensgrenzen“ vor, die das italienische akademische System ohnehinein täglich berechnet.

Hier ist die Aufschlüsselung ihrer Idee unter Verwendung alltäglicher Analogien:

1. Das „Bestehensgrenzen“-System (Die ASN)

In Italien muss ein Wissenschaftler bestimmte Anforderungen erfüllen, um eine höhere Professorenstufe zu erreichen (z. B. den Aufstieg vom „Junior“ zum „Senior“). Die Regierung hat bereits die „durchschnittliche“ Arbeitsmenge berechnet, die nötig ist, um diese Prüfungen zu bestehen.

Die Analogie: Betrachten Sie diese Anforderungen als ein Videospiel-Level. Um Level 1 (den Status eines Senior-Professors) zu schaffen, müssen Sie eine bestimmte Anzahl an „Münzen“ (Publikationen), „Sternen“ (Zitationen) und „Abzeichen“ (Artikel in Top-Journalen) sammeln.
Die Daten: Die Regierung weiß bereits genau, wie viele Münzen, Sterne und Abzeichen der Durchschnittliche benötigt, um zu bestehen. Dies sind die „Schwellenwerte“.

2. Das neue Scoreboard (Der Produktivitätsindex)

Die Autoren schlagen einen neuen Weg vor, um zu messen, wie gut eine Universität oder ein spezifischer Fachbereich abschneidet. Anstatt auf einen großen Bericht zu warten, schlagen sie vor, die aktuelle „Münzzahl“ eines jeden Wissenschaftlers mit der „Bestehensgrenze“ für seine nächste Stufe abzugleichen.

Die Berechnung:
- Wenn ein Wissenschaftler genau die Anzahl an Münzen hat, die zum Bestehen nötig sind, beträgt sein Wert 1,0.
- Wenn er die Hälfte der benötigten Münzen hat, ist sein Wert 0,5.
- Wenn er die doppelte Menge hat, ist sein Wert 2,0.
Der Fachbereichs-Wert: Man addiert einfach alle Werte der Wissenschaftler eines Fachbereichs und bildet den Durchschnitt. Dies ergibt den „Fachbereichs-Produktivitätsindex“ (DPI).
- DPI > 1,0: Der Fachbereich übertrifft im Durchschnitt die „Bestehensgrenze“.
- DPI < 1,0: Der Fachbereich bleibt im Durchschnitt hinter der „Bestehensgrenze“ zurück.

3. Warum dies nützlich ist (Das „Dashboard“ vs. die „Autopsie“)

Das Paper vergleicht ihre Methode mit dem aktuellen System (genannt VQR) mithilfe einer medizinischen Analogie:

Das aktuelle System (VQR): Dies ist wie eine umfassende Autopsie oder eine tiefgehende medizinische Untersuchung. Sie ist unglaublich detailliert und präzise, aber sie dauert sehr lange, kostet viel Geld und findet nur alle paar Jahre statt. Bis die Ergebnisse vorliegen, hat sich der Patient (die Universität) vielleicht schon verändert.
Das vorgeschlagene Modell: Dies ist wie ein Fitness-Tracker oder eine Smartwatch. Es führt keine vollständige Autopsie durch, gibt aber eine Live-Aktualisierung der Herzfrequenz aus. Es zeigt Ihnen jetzt gerade, ob der Fachbereich schnell genug läuft oder ob er langsamer wird.

4. Die Kernmerkmale

Keine neuen Daten erforderlich: Die „Münzen“ und „Bestehensgrenzen“ sind bereits in der digitalen Archivierung der Universität (genannt IRIS) gespeichert. Das Modell der Autoren führt lediglich die Berechnungen mit den bereits vorhandenen Daten durch.
Datenschutzfreundlich: Das System kann die „Durchschnitts-Herzfrequenz“ eines gesamten Fachbereichs berechnen, ohne jemals die spezifische Herzfrequenz einer einzelnen Person preiszugeben. Es ist wie das Wissen über die durchschnittliche Geschwindigkeit des Verkehrs auf einer Autobahn, ohne die einzelnen Autos zu verfolgen.
Fairness: Da die „Bestehensgrenze“ je nach Fachgebiet variiert (ein Philosoph benötigt andere „Münzen“ als ein Physiker), passt sich das System automatisch an die jeweilige Art der Arbeit an. Es vergleicht keine Äpfel mit Birnen, sondern Äpfel mit dem jeweiligen „Apfel-Standard“.

5. Was das Paper herausfand

Die Autoren testeten diese Idee an neun Universitäten (einige real, einige simuliert). Sie fanden heraus, dass:

Einige Universitäten hohe Durchschnittswerte hatten, aber sehr „ungleichmäßig“ waren (einige Fachbereiche waren Superstars, andere kämpften zu kämpfen).
Einige Universitäten niedrigere Durchschnittswerte hatten, aber sehr „beständig“ waren (alle leisteten in etwa die gleiche Menge an Arbeit).
Das Modell problemlos aufschlüsseln konnte, ob „Junior“-Personal besser abschnitt als „Senior“-Personal oder ob spezifische Fachbereiche der Motor des Erfolgs der Universität waren.

Das Fazit

Das Paper argumentiert, dass Universitäten nicht auf eine massive, teure, mehrjährige Evaluierung warten müssen, um zu wissen, wie sie abschneiden. Indem sie die „Bestehensgrenzen“, die bereits für Beförderungen berechnet werden, nutzen, können sie ein einf-aches, kostenloses und ständig aktualisiertes Dashboard erstellen, das zeigt, wie produktiv ihre Forschungsteams jetzt gerade sind. Es ist ein Werkzeug zur kontinuierlichen Überwachung anstelle von periodischer Beurteilung.

Technisches Resümee: Effizientes schwellenwertbasiertes Modell zur Evaluierung der wissenschaftlichen Produktivität

Problemstellung
Aktuelle Forschungsevaluationssysteme, insbesondere in Italien, stehen vor erheblichen Herausforderungen hinsichtlich des Ressourcenaufwands, zeitlicher Verzögerungen und Komplexität. Die primären nationalen Evaluierungsmechanismen – die Valutazione della Qualità della Ricerca (VQR) und die Abilitazione Scientifica Nazionale (ASN) – sind zwar rigoros, erfordern jedoch beträchtliche finanzielle und zeitliche Ressourcen. Die VQR beispielsweise operiert in mehrjährigen Zyklen (typischerweise über einen Zeitraum von drei Jahren mit einem einjährigen Evaluierungsprozess), was zu Daten führt, die hinsichtlich der aktuellen Forschungsproduktivität nicht vollständig auf dem neuesten Stand sind. Während die VQR Institutionen bewertet, bewertet die ASN Einzelpersonen, was eine fragmentierte Landschaft schafft, in der eine kontinuierliche, kostengünstige Überwachung der institutionellen Leistung schwierig ist. Es besteht ein Bedarf an einem gestrafften, effizienten Werkzeug, das bestehende Daten nutzt, um echtzeitfähige, transparente und datenschutzkonforme Einblicke in die wissenschaftliche Produktivität zu geben, ohne neue Datenerhebungen oder komplexen algorithmischen Overhead zu erfordern.

Methodik
Die Autoren schlagen ein vereinfachtes, schwellenwertbasiertes Modell vor, das den bestehenden Rahmen der italienischen nationalen wissenschaftlichen Qualifizierung (ASN) nutzt. Die Methodik stützt sich auf die bereits vom Ministerium für Universität und Forschung (MUR) berechneten „Schwellenwerte“ für verschiedene akademische Grade (Assistenzprofessor, außerordentlicher Professor, ordentlicher Professor) und wissenschaftliche Sektoren (bibliometrisch und nicht-bibliometrisch).

Die kerntechnischen Komponenten des Modells sind:

Datenquellen:
- Schwellenwert-Tripletts ( $T$ ): Offizielle ASN-Schwellenwerte für den nächsten akademischen Grad (z. B. wird ein außerordentlicher Professor gegen die Schwellenwerte eines ordentlichen Professors bewertet; ein ordentlicher Professor gegen die Schwellenwerte eines Komiteemitglieds). Diese umfassen drei Indikatoren:
  - Bibliometrische Sektoren: Anzahl der Artikel, Gesamtzitationen und h-Index.
  - Nicht-bibliometrische Sektoren: Anzahl der Artikel/Beiträge, Anzahl der Artikel in Class-A-Zeitschriften und Anzahl der Monographien.
- Ist-Wert-Tripletts ( $t$ ): Echtzeitdaten für einzelne Forscher, die aus dem institutionellen Informationssystem für Forschung (IRIS) abgerufen werden.
Individueller Produktivitätsindex (PI):
Für jeden Forscher $S_i$ wird ein Produktivitätsindex als arithmetisches Mittel der Verhältnisse zwischen seinen Ist-Werten und den entsprechenden Schwellenwerten des nächsten Grades berechnet:
$PI(S_i) = \frac{1}{3} \sum_{j=1}^{3} \frac{t^i_j}{T^i_j}$
- Ein Wert $< 1$ deutet auf eine Leistung unter dem Durchschnittsschwellenwert hin.
- Ein Wert $\ge 1$ bedeutet, dass der Schwellenwert erreicht oder überschritten wurde.
- In Fällen, in denen ein Schwellenwert Null ist, wird der Indikator ausgeschlossen und der Durchschnitt über die verbleibenden Werte neu berechnet.
Departementale und institutionelle Aggregation:
- Departimentaler Produktivitätsindex (DPI): Der arithmetische Mittelwert der $PI(S_i)$ -Scores aller $n$ Wissenschaftler eines Departements.
- Universitätsweite Metriken: Ein gewichteter Mittelwert ( $\bar{X}$ ) wird über alle Departements berechnet, gewichtet nach der Anzahl der Fakultäten ( $n_j$ ) in jedem Departement.
- Dispersionsmetriken: Um die Homogenität zu bewerten, berechnet das Modell die gewichtete Standardabweichung ($WST$) und den Variationskoeffizienten ($CoV$).
Implementierung:
Das Modell ist für die Implementierung mittels einfachem Code konzipiert (bereitgestellt als ergänzendes Material), der mit dem IRIS-Repository interagiert. Es ermöglicht eine disaggregierte Analyse nach wissenschaftlichem Sektor, akademischem Grad oder spezifischen Fakultätsgruppen (z. B. neu eingestelltes Personal).

Wesentliche Beiträge

Sofortige Anwendbarkeit: Das Modell erfordert keine neue Datenerhebung, da es ausschließlich auf Daten basiert, die bereits in den ministeriellen Tabellen und der IRIS-Datenbank vorhanden sind.
Echtzeit-Überwachung: Im Gegensatz zur VQR, die eine retrospektive Momentaufnahme liefert, bietet dieses Modell eine kontinuierlich aktualisierbare Sicht auf die Produktivität, die sich täglich ändert, wenn Forscher ihre IRIS-Profile aktualisieren.
Granularität und Flexibilität: Der Rahmen ermöglicht „Drill-Down“-Analysen, die Vergleiche über spezifische wissenschaftliche Sektoren, akademische Grade oder Subgruppen innerhalb einer Institution ermöglichen.
Datenschutzkonformität: Das Modell generiert aggregierte institutionelle Indikatoren (DPI), ohne die öffentliche Offenlegung der individuellen Produktivitätsindizes der Forscher zu erfordern, und hält somit die Datenschutzbestimmungen ein.
Disziplinäre Anpassungsfähigkeit: Durch die Verwendung sektorspezifischer Schwellenwerte berücksichtigt das Modell inhärent die Heterogenität zwischen bibliometrischen (STEM) und nicht-bibliometrischen (Geistes-/Sozialwissenschaften) Feldern.

Ergebnisse
Die Arbeit präsentiert eine Simulation des Modells angewandt auf ein virtuelles Departement sowie eine Fallstudienanalyse von neun italienischen Universitäten (kategorisiert in große, mittlere und kleine), unter Verwendung einer Mischung aus realen und simulierten Daten, um Anonymität zu gewährleisten.

Simulation: Ein virtuelles Departement von zehn Wissenschaftlern ergab einen DPI von 1,24, was auf eine Gesamtproduktivität über den nationalen Schwellenwerten hindeutet, obwohl die einzelnen Wissenschaftler Variationen zeigten (einige unter 1,0).
Universitätsanalyse:
- Die Analyse zeigte, dass ein hoher gewichteter Durchschnitt nicht zwangsläufig eine einheitliche Exzellenz impliziert; hohe Standardabweichungen und Variationskoeffizienten offenbarten signifikante Disparitäten zwischen den Departements innerhalb derselben Universität.
- Beispielsweise hatte „Große Universität 1“ einen hohen Mittelwert, aber auch eine hohe Dispersion, getrieben durch einige wenige hochperformante Departements, während „Mittlere Universität 3“ eine hohe Variabilität mit weniger als der Hälfte der Departements aufwies, die den Schwellenwert überschritten.
- Die Aufschlüsselung nach akademischem Grad zeigte, dass Assistenz- und außerordentliche Professoren oft höhere Produktivitätsindizes im Verhältnis zu den Schwellenwerten aufwiesen, was wahrscheinlich durch Karriereanreize getrieben ist, während ordentliche Professoren leicht niedrigere Indizes zeigten, was möglicherweise auf unterschiedliche institutionelle Rollen oder interne Evaluationsmetriken zurückzuführen ist.
- Das Modell identifizierte erfolgreich „Exzellenzinseln“ und Bereiche der Unterleistung innerhalb derselben Institutionen.

Bedeutung und Ansprüche
Die Autoren positionieren diese Arbeit nicht als Ersatz für umfassende, Peer-Review-basierte nationale Evaluierungen wie die VQR, sondern als komplementäres, kostengünstiges Werkzeug zur dynamischen und kontinuierlichen Überwachung.

Strategischer Wert: Das Modell dient als „intermediäre, dynamische Ebene“ der Überwachung, die die interne Governance informieren, die individuelle Karriereplanung unterstützen und Institutionen helfen kann, kritische Probleme oder Exzellenzinseln rechtzeitig zu erkennen.
Effizienz: Es bietet eine pragmatische Lösung für Institutionen, die ihre Forschungsleistung verfolgen wollen, ohne die erheblichen Zeit- und Personalkosten, die mit vollumfänglichen Evaluierungen verbunden sind.
Generalisierbarkeit: Obwohl für den italienischen Kontext entwickelt, behaupten die Autoren, dass die Methodik auf andere nationale Kontexte übertragbar ist, die Schwellenwert- oder publikationsdatengetriebene Evaluierungssysteme nutzen, sofern vergleichbare Daten verfügbar sind.
Transparenz: Durch die Nutzung bestehender, transparenter Schwellenwerte zielt das Modell darauf ab, die Opazität zu verringern, die oft mit komplexen Algorithmen der Evaluierung verbunden ist, und so eine Kultur der Rechenschaftspflicht und kontinuierlichen Verbesserung zu fördern.

Das Paper schließt mit der Feststellung, dass dieser schwellenwertbasierte Ansatz ein kompaktes, interpretierbares und sensibles Maß für die Forschungsleistung darstellt, das die disziplinäre Vielfalt und die verschiedenen Karrierephasen respektiert und einen praktikablen Rahmen für die Verfeinerung globaler Evaluierungsstrategien bietet.