MEMRES: A Memory-Augmented Resolver with Confidence Cascade for Agentic Python Dependency Resolution

1. Il Problema

La gestione delle dipendenze per il codice Python legacy è estremamente complessa a causa dell'enorme ecosistema di PyPI (oltre 500.000 pacchetti). Le sfide principali includono:

• Incompatibilità Python 2/3: Molte vecchie librerie non funzionano con interpreti moderni.
• Nomi ambigui e deprecati: Spesso il nome di un'importazione non corrisponde direttamente al nome del pacchetto (es. cv2 richiede opencv-python).
• Conflitti di versione: Determinare la combinazione corretta di versioni di pacchetti e interpreter è difficile.

L'approccio attuale leader, PLLM (un sistema basato su RAG e LLM), raggiunge solo un tasso di successo del 54,7% sul benchmark HG2.9K. L'analisi dei fallimenti di PLLM rivela che il 33% degli errori è dovuto a errori di sintassi Python 2 eseguiti su Python 3, il 30% a errori di importazione per mismatch di nomi noti, e il 20% a incompatibilità di versioni risolvibili tramite mappe curate. Chiamare un LLM per questi casi è inefficiente (60-120 secondi per snippet) e spesso inutile.

2. Metodologia: MemRes

MemRes è un sistema agentic che posiziona l'LLM come ultima risorsa, all'interno di una Cascata di Fiducia (Confidence Cascade) a più livelli. Il sistema consulta diverse componenti deterministiche prima di ricorrere all'inferenza del modello linguistico.

I componenti chiave sono:

1. Memoria Intra-Sessione (Intra-Session Memory):

   • Memorizza le soluzioni che hanno avuto successo all'interno dello stesso batch di elaborazione.
   • Se uno snippet condivide un'alta similarità di importazione con uno già risolto, riutilizza la soluzione (es. pip install) senza richiamare l'LLM.
   • Permette un trasferimento rapido della conoscenza all'interno del batch di valutazione.

2. Cascata di Fiducia (Confidence Cascade) a 6 Livelli:
   Il sistema seleziona le versioni dei pacchetti seguendo un ordine gerarchico, fermandosi al primo livello che fornisce una soluzione valida:

   1. Memoria di Sessione: Versioni già provate con successo nel batch.
   2. Mappa di Compatibilità Statica: 40+ pacchetti con versioni "buone" note (curate manualmente da documentazione e log CI/CD).
   3. Template dell'Ecosistema: Set di versioni collaudati per gruppi comuni (ML, web, data science).
   4. Mineraggio di Co-occorrenza: Punteggi di co-installazione pesati estratti da 50.000 file requirements.txt open source (filtrati per evitare sovrapposizioni temporali con i dati di test).
   5. Regole Euristiche: Vincoli specifici per oltre 45 pacchetti.
   6. Selezione LLM: Chiamata solo se tutti i livelli deterministici precedenti falliscono.

3. Memoria Auto-Evolvente (Self-Evolving Memory):

   • Raccoglie "suggerimenti" (linee guida in linguaggio naturale) e "scorciatoie" (soluzioni riutilizzabili basate sulla similarità Jaccard degli insiemi di importazione).
   • Le scorciatoie sono validate tramite build Docker rapide per evitare errori cumulativi.
   • La memoria viene resettata tra esecuzioni indipendenti per prevenire l'overfitting.

4. Knowledge Base (KB) dei Modelli di Errore e Euristiche di Build:

   • Contiene oltre 200 mappature import → pacchetto, 35 correzioni di nomi e regole basate su regex.
   • Analisi Semantica delle Importazioni: Non si limita a mappare import X a pip install X, ma analizza l'uso del codice (es. import Image con Image.open() → Pillow).
   • Rilevamento Python 2: Identifica deterministicamente il codice Python 2 (es. print x, raw_input) e forza l'esecuzione su Python 2.7 tramite container Docker isolati (Docker-out-of-Docker).
   • Iniezione delle Dipendenze di Sistema: Mappa i pacchetti pip alle dipendenze apt-get necessarie (es. librerie C) per risolvere errori di compilazione di estensioni C.

3. Contributi Chiave

1. Cascata di Fiducia: Riduce le chiamate all'LLM del 60%+ migliorando al contempo l'accuratezza.
2. Memoria Intra-Sessione: Abilita il trasferimento rapido di soluzioni per codici simili senza inferenza LLM ripetuta.
3. Memoria Auto-Evolvente: Trasferisce conoscenza tramite suggerimenti e scorciatoie validate.
4. KB di Modelli di Errore e Heuristiche: Include mappature curate, rilevamento Python 2 e gestione delle dipendenze di sistema.
5. Valutazione: Dimostrazione di un tasso di risoluzione del 86,6% su HG2.9K.

4. Risultati

Il sistema è stato valutato sul dataset HG2.9K (2890 snippet validi) utilizzando il modello Gemma-2 9B (10 GB VRAM).

• Tasso di Successo: MemRes risolve 2503 snippet su 2890 (86,6%), superando di gran lunga il 54,7% di PLLM.
• Riduzione Chiamate LLM: Il 68,0% dei casi risolti non richiede alcuna chiamata all'LLM. Il numero medio di chiamate LLM per snippet scende da 1-5 (PLLM) a 0,34.
• Efficienza: Il tempo mediano di risoluzione per i casi di successo è di 15,2 secondi, contro i 120-180 secondi di PLLM.
• Analisi dei Fallimenti: Dei casi falliti (13,4%), la maggior parte è dovuta a fallimenti di build/C-extension (50%) o errori di importazione irrisolvibili (33%), spesso legati a pacchetti obsoleti o assenti.

5. Significato e Impatto

MemRes dimostra che la maggior parte dei fallimenti nella risoluzione delle dipendenze Python ha cause deterministiche risolvibili senza inferenza di modelli linguistici complessi.

• Efficienza: Riduce drasticamente l'uso di token e il tempo di elaborazione, rendendo la risoluzione delle dipendenze più scalabile ed economica.
• Affidabilità: L'approccio ibrido (regole deterministiche + LLM come fallback) offre una maggiore robustezza rispetto all'uso esclusivo di LLM.
• Innovazione Metodologica: Introduce un paradigma di "agentic system" che combina memoria a breve termine (sessione), conoscenza a lungo termine (KB curata) e apprendimento auto-evolutivo, applicato con successo alla gestione delle dipendenze software.

In sintesi, MemRes sposta il paradigma dalla "ricerca cieca" tramite LLM a una risoluzione guidata da regole e memoria, risolvendo la stragrande maggioranza dei problemi di dipendenze in modo deterministico e veloce.