r2py: AI-Assisted Conversion of R Statistical Packages to Python

Nel mondo dell'analisi dei dati, due linguaggi distinti dominano da tempo il panorama. Uno, chiamato R, è la dimora storica della statistica, dove spesso vengono scritti per primi i nuovi metodi matematici per comprendere il mondo. È la biblioteca di riferimento per gli scienziati, che custodisce migliaia di strumenti specializzati esaminati e ritenuti affidabili per decenni. L'altro, Python, è diventato lo standard per l'informatica moderna, il machine learning e la creazione di software che operano nel mondo reale. Per anni, questi due mondi sono esistiti in parallelo. Quando un ricercatore che usa Python ha bisogno di un metodo statistico specifico che esiste solo in R, si trova di fronte a una scelta difficile. Può tentare di eseguire entrambi i linguaggi affiancati, il che è goffo e richiede installazioni software pesanti, oppure può tentare di riscrivere il codice R da zero in Python. Quest'ultima è un'impresa enorme e soggetta a errori che spesso non riesce a catturare i comportamenti sottili dello strumento originale.

Un team di ricercatori ha sviluppato un nuovo modo per colmare questo divario, non costringendo i due linguaggi a coesistere, ma traducendo gli strumenti statistici stessi in codice Python nativo. Hanno creato un sistema chiamato r2py, che utilizza l'intelligenza artificiale per convertire i pacchetti R in librerie Python che funzionano senza la necessità di avere installato il software R originale. I ricercatori hanno testato questo sistema su due importanti e complessi pacchetti statistici, ampiamente utilizzati nella scienza. Il risultato è un set di strumenti Python che si comportano quasi esattamente come i loro originali in R, permettendo agli scienziati di utilizzare decenni di innovazione statistica all'interno del moderno ambiente Python.

La sfida centrale in questo lavoro è che R e Python non sono solo dialetti diversi dello stesso linguaggio; sono sistemi fondamentalmente differenti con le proprie regole. In R, un semplice comando per calcolare una varianza potrebbe applicare una specifica correzione che Python non usa di default. In R, una funzione potrebbe restituire una lista di risultati in un ordine specifico, mentre Python si aspetta una struttura diversa. Se un essere umano tenta di tradurre questi strumenti manualmente, potrebbe trascurare queste sottili differenze, portando a un codice che sembra corretto ma produce numeri leggermente errati. Nella scienza, dove un minuscolo errore numerico può cambiare una conclusione, questo è inaccettabile. Inoltre, molti pacchetti R si affidano a codice compilato più vecchio, scritto in linguaggi come C o Fortran, per eseguire calcoli pesanti. Tradurre semplicemente le istruzioni di alto livello non è sufficiente; il sistema deve anche capire come collegare il nuovo codice Python a questi vecchi motori di calcolo veloci.

Per risolvere questo problema, i ricercatori hanno costruito un framework che suddivide il processo di traduzione in sette fasi distinte, guidate da esperti umani ma eseguite da agenti di intelligenza artificiale. Invece di chiedere a un computer di tradurre un intero libro di codice tutto in una volta, il sistema prima mappa la struttura del pacchetto, comprendendo quali funzioni dipendono dalle altre. Successivamente, crea una guida dettagliata per ogni singolo tipo di comando trovato nel codice R, decidendo esattamente come ciascuno debba essere reso in Python prima che inizi qualsiasi traduzione effettiva. Ciò garantisce che lo stesso comando R sia sempre tradotto nello stesso modo, prevenendo le incoerenze che derivano dal trattare separatamente diverse parti del codice.

Una volta stabilito il piano, il sistema traduce il codice funzione per funzione, nell'ordine corretto. Fondamentalmente, non cerca di riscrivere i calcoli matematici pesanti che sono già scritti in codice compilato. Invece, mantiene il codice originale veloce esattamente com'è e costruisce un nuovo ponte in Python che possa chiamarlo. Per uno dei pacchetti testati, questo è stato semplice. Per l'altro, che utilizzava un modo più complesso di comunicare con il proprio codice interno, il sistema ha dovuto prima ricostruire una versione piccola e autonoma del linguaggio interno del sistema R, in modo che il vecchio codice potesse girare senza la presenza del software R originale. Ciò ha permesso al nuovo pacchetto Python di utilizzare esattamente lo stesso motore di calcolo dell'originale, assicurando che qualsiasi differenza nei risultati derivasse solo dalla traduzione e non da un cambiamento nella matematica.

I ricercatori hanno poi sottoposto i nuovi pacchetti a una serie rigorosa di test. Non si sono limitati a controllare se il codice funzionasse; hanno confrontato i numeri prodotti dai nuovi strumenti Python con i numeri prodotti dagli strumenti R originali attraverso centinaia di scenari diversi. Hanno testato casi standard, casi limite difficili e persino i messaggi di errore prodotti dagli strumenti. In uno dei pacchetti, hanno eseguito 846 test separati. Nell'altro, ne hanno eseguiti 518. I risultati hanno mostrato che i nuovi strumenti Python riproducevano i risultati originali di R con un'altissima precisione, corrispondendo ai numeri entro un margine di errore minimo che è accettabile per il lavoro scientifico.

Tuttavia, il processo ha anche rivelato che la traduzione non è perfetta in ogni singolo dettaglio. In alcuni casi specifici, i nuovi strumenti hanno prodotto risultati che differivano leggermente dall'originale, ma solo in modi che sarebbero stati impossibili da correggere senza cambiare la natura fondamentale dello strumento. Ad esempio, lo strumento R originale visualizza il comando esattamente come l'utente lo ha digitato, una caratteristica che si basa sulla memoria del sistema R dell'input dell'utente. Il nuovo strumento Python, che vede solo i valori calcolati finali, non può ricreare esattamente quella visualizzazione testuale. I ricercatori hanno identificato queste differenze e le hanno documentate chiaramente, invece di cercare di nasconderle. Hanno anche scoperto un difetto reale nel codice R originale che causava un piccolo errore in situazioni specifiche; poiché il loro obiettivo era creare una copia fedele, hanno riprodotto esattamente questo difetto nella nuova versione Python, assicurando che gli scienziati che utilizzano il nuovo strumento ottengano gli stessi risultati di chi utilizza il vecchio.

La scoperta più sorprendente è arrivata dal processo di test stesso. I ricercatori hanno scoperto che il modo migliore per individuare errori nascosti non era scrivere nuovi test, ma tradurre i test originali che accompagnavano i pacchetti R. Questi vecchi test erano stati scritti dagli autori originali per controllare condizioni molto specifiche e insolite che un nuovo traduttore potrebbe non pensare mai di testare. Eseguendo questi test tradotti, il sistema ha trovato bug sottili che erano sopravvissuti a tutti gli altri controlli, incluso un errore nascosto nel modo in cui veniva calcolato un parametro di controllo, che appariva solo in calcoli molto profondi e complessi. Ciò ha confermato che le suite di test originali sono una parte essenziale del processo di traduzione, agendo come una rete di sicurezza che cattura problemi che nessuna ispezione umana potrebbe trovare.

Il lavoro dimostra che convertire software statistici complessi da un linguaggio all'altro è possibile, ma richiede un approccio disciplinato e passo dopo passo piuttosto che una semplice traduzione automatizzata. I ricercatori non si sono limitati a convertire due pacchetti; hanno costruito un metodo che può essere applicato ad altri. Hanno dimostrato che separando la pianificazione, la traduzione delle regole e la verifica dei risultati, e mantenendo intatti i motori di calcolo pesanti, è possibile creare strumenti Python nativi che siano fedeli alle loro origini in R. I pacchetti convertiti sono ora disponibili per chiunque, installabili come qualsiasi altro software Python, portando decenni di innovazione statistica nell'ambiente di calcolo moderno senza la necessità di installare il software originale pesante. Il successo di questo progetto suggerisce che la barriera tra i metodi statistici del passato e gli strumenti informatici del futuro è più superabile di quanto precedentemente pensato, a pato che la traduzione venga eseguita con cura, struttura e un impegno verso l'accuratezza numerica.