r2py: AI-Assisted Conversion of R Statistical Packages to Python

In der Welt der Datenanalyse dominieren seit langem zwei unterschiedliche Sprachen die Landschaft. Die eine, genannt R, ist die historische Heimat der Statistik, in der neue mathematische Methoden zum Verständnis der Welt oft zuerst geschrieben werden. Sie ist die Referenzbibliothek für Wissenschaftler und beherbergt tausende spezialisierte Werkzeuge, die über Jahrzehnte hinweg geprüft und vertraut wurden. Die andere, Python, ist zum Standard für modernes Computing, maschinelles Lernen und die Entwicklung von Software geworden, die in der realen Welt läuft. Jahrelang existierten diese beiden Welten parallel. Wenn ein Forscher in Python eine spezifische statistische Methode benötigt, die nur in R existiert, steht er vor einer schwierigen Wahl. Er kann versuchen, beide Sprachen nebeneinander laufen zu lassen, was umständlich ist und schwere Softwareinstallationen erfordert, oder er kann versuchen, den R-Code von Grund auf neu in Python zu schreiben. Letzteres ist ein massives, fehleranfälliges Unterfangen, das oft daran scheitert, die subtilen Verhaltensweisen des ursprünglichen Werkzeugs einzufangen.

Ein Team von Forschern hat nun einen neuen Weg entwickelt, um diese Lücke zu schließen, indem sie die beiden Sprachen nicht dazu zwingen, nebeneinander zu existieren, sondern indem sie die statistischen Werkzeuge selbst in nativen Python-Code übersetzen. Sie entwickelten ein System namens r2py, das künstliche Intelligenz nutzt, um R-Pakete in Python-Bibliotheken zu konvertieren, die ohne die Installation der ursprünglichen R-Software funktionieren. Die Forscher testeten dieses System an zwei großen, komplexen statistischen Paketen, die in der Wissenschaft weit verbreitet sind. Das Ergebnis ist eine Reihe von Python-Werkzeugen, die sich fast exakt wie ihre R-Originale verhalten, was es Wissenschaftlern ermöglicht, jahrzehntelange statistische Innovationen innerhalb der modernen Python-Umgebung zu nutzen.

Die Kernherausforderung dieser Arbeit besteht darin, dass R und Python nicht nur unterschiedliche Dialekte derselben Sprache sind, sondern grundlegend verschiedene Systeme mit eigenen Regeln. In R kann ein einfacher Befehl zur Berechnung einer Varianz eine spezifische Korrektur anwenden, die Python standardmäßig nicht verwendet. In R kann eine Funktion eine Liste von Ergebnissen in einer bestimmten Reihenfolge zurückgeben, während Python eine andere Struktur erwartet. Wenn ein Mensch versucht, diese Werkzeuge von Hand zu übersetzen, übersieht er möglicherweise diese subtilen Unterschiede, was zu Code führt, der zwar korrekt aussieht, aber leicht falsche Zahlen liefert. In der Wissenschaft, wo ein winziger numerischer Fehler eine Schlussfolgerung verändern kann, ist dies inakzeptabel. Darüber hinaus verlassen sich viele R-Pakete auf älteren, kompilierten Code, der in Sprachen wie C oder Fortran geschrieben wurde, um schwere Berechnungen durchzuführen. Es reicht nicht aus, lediglich die hochgradigen Anweisungen zu übersetzen; das System muss auch herausfinden, wie es den neuen Python-Code mit diesen alten, schnellen Rechenmaschinen verbindet.

Um dies zu lösen, bauten die Forscher ein Framework, das den Übersetzungsprozess in sieben distinkte Schritte unterteilt, die von menschlichen Experten geleitet, aber von KI-Agenten ausgeführt werden. Anstatt einen Computer zu bitten, ein ganzes Buch voller Code auf einmal zu übersetzen, kartiert das System zuerst die Struktur des Pakets und versteht, welche Funktionen von welchen anderen abhängen. Es erstellt dann einen detaillierten Leitfaden für jeden einzelnen Typ von Befehl, der im R-Code gefunden wird, und entscheidet genau, wie jeder einzelne in Python gerendert werden soll, bevor überhaupt eine eigentliche Übersetzung beginnt. Dies stellt sicher, dass derselbe R-Befehl immer auf die gleiche Weise übersetzt wird, was Inkonsistenzen verhindert, die entstehen, wenn verschiedene Teile des Codes separat behandelt werden.

Sobeder der Plan steht, übersetzt das System den Code Funktion für Funktion in der korrekten Reihenfolge. Entscheidend ist, dass es nicht versucht, die schweren mathematischen Berechnungen neu zu schreiben, die bereits in kompiliertem Code vorliegen. Stattdessen behält es den ursprünglichen, schnellen Code exakt so bei, wie er ist, und baut eine neue Brücke in Python, die diesen aufrufen kann. Für eines der getesteten Pakete war dies unkompliziert. Für das andere, das eine komplexere Art der Kommunikation mit seinem internen Code nutzte, musste das System zuerst eine kleine, in sich geschlossene Version der internen Sprache des R-Systems rekonstruieren, damit der alte Code ohne die ursprüngliche R-Software laufen konnte. Dies ermöglichte es dem neuen Python-Paket, exakt dieselbe Rechenmaschine wie das Original zu nutzen, wodurch sichergestellt wurde, dass etwaige Unterschiede in den Ergebnissen nur aus der Übersetzung resultieren und nicht aus einer Änderung der Mathematik.

Die Forscher unterzogen die neuen Pakete daraufhin einer strengen Testreihe. Sie prüften nicht nur, ob der Code lief; sie verglichen die von den neuen Python-Werkzeugen produzierten Zahlen mit den Zahlen, die von den ursprünglichen R-Werkzeugen produziert wurden, und zwar über hunderte verschiedene Szenarien hinweg. Sie testeten Standardfälle, schwierige Grenzfälle und sogar die Fehlermeldungen, die die Werkzeuge erzeugen. In einem der Pakete führten sie 846 separate Tests durch. Im anderen führten sie 518 durch. Die Ergebnisse zeigten, dass die neuen Python-Werkzeuge die ursprünglichen R-Ergebnisse mit extrem hoher Präzision reproduzierten und die Zahlen innerhalb einer winzigen Fehlermarge lieferten, die für wissenschaftliche Arbeiten akzeptabel ist.

Der Prozess offenbarte jedoch auch, dass die Übersetzung nicht in jedem einzelnen Detail perfekt ist. In einigen spezifischen Fällen produzierten die neuen Werkzeuge Ergebnisse, die leicht von den Originalen abwichen, aber nur in einer Weise, die unmöglich zu beheben wäre, ohne das grundlegende Wesen des Werkzeugs zu verändern. Zum Beispiel zeigt das ursprüngliche R-Werkzeug den Befehl exakt so an, wie der Benutzer ihn eingegeben hat – ein Merkmal, das auf dem Gedächtnis des R-Systems bezüglich der Benutzereingabe beruht. Das neue Python-Werkzeug, das nur die endgültigen berechneten Werte sieht, kann diesen exakten Text nicht rekonstruieren. Die Forscher identifizierten diese Unterschiede und dokumentierten sie klar, anstatt zu versuchen, sie zu verbergen. Sie entdeckten auch einen echten Fehler im ursprünglichen R-Code, der in spezifischen Situationen zu einem winzigen Fehler führte; da ihr Ziel darin bestand, eine getreue Kopie zu erstellen, reproduzierten sie diesen Fehler exakt in der neuen Python-Version, um sicherzustellen, dass Wissenschaftler, die das neue Werkzeug verwenden, dieselben Ergebnisse erhalten wie diejenigen, die das alte verwenden.

Die überraschendste Entdeckung kam aus dem Testprozess selbst. Die Forscher fanden heraus, dass der beste Weg, verborgene Fehler aufzuspüren, nicht darin bestand, neue Tests zu schreiben, sondern die ursprünglichen Tests zu übersetzen, die mit den R-Paketen geliefert wurden. Diese alten Tests waren von den ursprünglichen Autoren geschrieben worden, um sehr spezifische, ungewöhnliche Bedingungen zu prüfen, an die ein neuer Übersetzer vielleicht nie gedacht hätte. Durch das Ausführen dieser übersetzten Tests fand das System subtile Bugs, die alle anderen Prüfungen überlebt hatten, einschließlich eines verborgenen Fehlers in der Berechnung eines Kontrollparameters, der erst bei sehr tiefen, komplexen Berechnungen auftrat. Dies bestätigte, dass die ursprünglichen Test-Suites ein essenzieller Teil des Übersetzungsprozesses sind und als Sicherheitsnetz fungieren, das Probleme abfängt, die keine menschliche Inspektion finden könnte.

Die Arbeit zeigt, dass die Konvertierung komplexer statistischer Software von einer Sprache in eine andere möglich ist, aber einen disziplinierten, schrittweisen Ansatz erfordert, statt einer einfachen automatisierten Übersetzung. Die Forscher haben nicht nur zwei Pakete konvertiert; sie haben eine Methode entwickelt, die auf andere angewendet werden kann. Sie haben gezeigt, dass es möglich ist, durch die Trennung von Planung, der Übersetzung von Regeln und der Verifizierung von Ergebnissen sowie durch das Unberührtlassen der schweren Rechenmaschinen, dem ursprünglichen Python-Werkzeuge zu schaffen, die ihren R-Ursprüngen treu sind. Die konvertierten Pakete stehen nun jedem zur Verfügung, installierbar wie jede andere Python-Software, wodurch jahrzehntelange statistische Innovation in die moderne Computerumgebung gebracht wird, ohne dass die ursprüngliche, schwere Software installiert werden muss. Der Erfolg dieses Projekts legt nahe, dass die Barriere zwischen den statistischen Methoden der Vergangenheit und den Computerwerkzeugen der Zukunft leichter zu überwinden ist als bisher angenommen, sofern die Übersetzung mit Sorgfalt, Struktur und einem Bekenntnis zur numerischen Genauigkeit erfolgt.