PyTrim: A Practical Tool for Reducing Python Dependency Bloat

Probleemstelling: Dependency Bloat in Python

Python-projecten lijden vaak onder "dependency bloat" (opgeblazen afhankelijkheden). Dit ontstaat wanneer verouderde of ongebruikte afhankelijkheden achterblijven in de codebase nadat de functionaliteit waarvoor ze nodig waren, is verwijderd of vervangen.

• Gevolgen: Dit leidt tot technische schuld, verhoogde onderhoudskosten, een vergroot aanvalsoppervlak voor beveiligingsrisico's (bijvoorbeeld via __init__.py-bestanden die bij import worden uitgevoerd) en langzamere CI/CD-pipelines.
• Huidige beperkingen: Hoewel er veel tools bestaan die onbruikte afhankelijkheden detecteren (zoals FawltyDeps, deptry, autoflake), bieden deze geen oplossing voor het verwijderen ervan. Het proces vereist nog steeds handmatig ingrijpen: ontwikkelaars moeten de output van de tool analyseren, de afhankelijkheidsverklaringen in configuratiebestanden (zoals requirements.txt, setup.py, pyproject.toml) en de importen in broncodebestanden handmatig verwijderen, en vervolgens een Pull Request (PR) indienen.
• Uitdagingen:
  1. Dynamische resolutie: Veel projecten bouwen hun afhankelijkheidslijst dynamisch op in setup.py (bijvoorbeeld door een extern bestand in te lezen), wat statische analyse onbetrouwbaar maakt.
  2. Verscheidenheid aan bestandsformaten: Afhankelijkheden worden gedeclareerd in diverse bestandsformaten (TOML, YAML, INI, Python-code), wat het handmatig aanpassen complex maakt.
  3. Menselijke fouten: Het handmatig verwijderen van afhankelijkheden is vatbaar voor fouten, wat kan leiden tot gebroken builds of onvolledige opruiming.

Methodologie: Het PyTrim-systeem

PyTrim is een end-to-end systeem dat het proces van detectie en verwijdering van ongebruikte afhankelijkheden automatiseert. Het architectonische ontwerp is modulair en "detector-agnostisch", wat betekent dat het kan werken met elke bestaande detectietool.

Het systeem bestaat uit drie hoofdmodules:

1. Dynamische Dependency Resolver:
   • Om het probleem van dynamisch gegenereerde afhankelijkheden op te lossen, installeert PyTrim het project in een geïsoleerde omgeving met pip (met het -t argument).
   • Vervolgens gebruikt het de tool pipdeptree om een gerichte graaf van de geïnstalleerde pakketten te genereren.
   • Dit levert een lijst op met daadwerkelijk geïnstalleerde afhankelijkheden, ongeacht hoe deze in de configuratiebestanden worden gedefinieerd. Dit vermindert het aantal "gemiste" afhankelijkheden door statische analyse.
2. Detector (Detector):
   • PyTrim integreert bestaande detectietools (standaard een call-graph gebaseerde detector, maar ook ondersteuning voor FawltyDeps en deptry).
   • De detector gebruikt de output van de dynamische resolver in combinatie met zijn eigen statische analyse om een nauwkeuriger lijst van ongebruikte afhankelijkheden te bepalen.
3. Remover (Verwijderaar):
   • Deze module voert de daadwerkelijke wijzigingen uit in de codebase.
   • Voor Python-bronbestanden (.py): Gebruik van Abstract Syntax Tree (AST) analyse om ongebruikte importen te identificeren en te verwijderen.
   • Voor configuratiebestanden: Afhankelijk van het formaat worden verschillende methoden gebruikt:
     • Gestructureerde bestanden (TOML, YAML, INI): Parsing via bibliotheken zoals toml, PyYAML, en configparser.
     • Lineaire bestanden (requirements.txt): Reguliere expressies.
     • Uitvoerbare bestanden (setup.py): AST-analyse.
   • Veiligheid: PyTrim wijst gebruikers handmatig op lock-files (zoals poetry.lock) die mogelijk niet synchroon lopen, en wijzigt geen complexe bestanden zoals shell-scripts of Dockerfiles automatisch om syntaxfouten te voorkomen.
   • Workflow: Het systeem maakt een nieuwe Git-branch, commit de wijzigingen en genereert een Pull Request met een gedetailleerd rapport.

Belangrijkste Bijdragen

• End-to-end automatisering: Een volledig geautomatiseerde pipeline voor het detecteren en verwijderen van ongebruikte afhankelijkheden, inclusief het genereren van PR's.
• Nieuwe dynamische analyse: Een innovatieve techniek die de resolutie van afhankelijkheden verbetert door het project daadwerkelijk te installeren, waardoor dynamisch gegenereerde afhankelijkheden (die statische tools missen) worden opgepikt.
• Omvangrijke bestandsondersteuning: Vermogen om afhankelijkheidsverklaringen te verwijderen uit een breed scala aan bestandsformaten (Python, requirements.txt, TOML, setup.py).
• Detector-agnostisch ontwerp: Mogelijkheid om elke bestaande bloat-detectietool te integreren.

Resultaten en Evaluatie

De auteurs hebben PyTrim geëvalueerd aan de hand van twee scenario's:

1. Nauwkeurigheid (Replicatie van menselijke wijzigingen):

   • Gebruikmakend van een dataset van 37 samengevoegde Pull Requests (waarbij menselijke ontwikkelaars eerder afhankelijkheden hadden verwijderd), testte PyTrim of het dezelfde wijzigingen kon repliceren.
   • Resultaat: PyTrim behaalde een nauwkeurigheid van 98,3% (59 van de 60 relevante bestanden werden correct aangepast). De enige afwijking betrof een geval van "dependency refactoring" (waarbij een pakket werd omgezet naar een variant met extra features), wat buiten de scope van puur verwijderen valt.
   • Het systeem is zeer efficiënt: het verwerkte de volledige dataset van 37 projecten in minder dan 10 seconden.

2. Dynamische Resolutie:

   • Op een dataset van 971 populaire GitHub-projecten kon de dynamische resolver van PyTrim in 5% van de gevallen (48 projecten) afhankelijkheden vinden die door statische resolvers werden gemist.
   • De belangrijkste oorzaken van fouten bij statische tools waren: beperkingen in het parsen van pyproject.toml, willekeurige code in setup.py (zoals functie-aanroepen), en bugs.

3. Praktische Impact (Real-World Deployment):

   • PyTrim werd ingezet op 971 open-source pakketten.
   • Het identificeerde en verwijderde bloated dependencies in 39 projecten.
   • Er werden PR's ingediend voor deze 39 projecten. Op het moment van publicatie waren 14 PR's al geaccepteerd en gemerged door de maintainers, 19 waren nog in review, en 6 waren gesloten vanwege projectspecifieke beleidsregels.
   • Voorbeelden van succesvolle integraties zijn populaire projecten zoals napalm-automation/napalm, pycqa/prospector en django-rest-framework-json-api.

Betekenis en Conclusie

PyTrim vult een cruciale lacune in de Python-software-engineering: de kloof tussen het detecteren van technische schuld en het oplossen ervan. Door de automatisatie van het verwijderingsproces en de introductie van een dynamische resolutiemethode, verlaagt het de drempel voor het onderhouden van schone codebases. Het systeem vermindert niet alleen de onderhoudslast en beveiligingsrisico's, maar demonstreert ook dat geautomatiseerde tools betrouwbaar kunnen worden ingezet voor het in stand houden van open-source ecosystemen. De tool is beschikbaar als open-source project, wat bijdraagt aan verdere community-ontwikkeling.