Machine Learning in the Wild: Early Evidence of Non-Compliant ML-Automation in Open-Source Software

Probleemstelling

De toenemende beschikbaarheid van Machine Learning (ML) modellen, met name foundation models, maakt hun integratie mogelijk in uiteenlopende toepassingen, variërend van lage-risico scenario's tot veiligheidskritieke contexten (zoals autonome voertuigen en gezondheidszorg). Dit roept ernstige zorgen op over:

1. Regelgeving: Het gebruik van ML in "hoog-risico" domeinen (zoals gedefinieerd door de EU AI Act) vereist strikte transparantie en menselijke toezicht.
2. Voorwaarden van gebruik (Terms of Use - ToU): Veel modellen hebben beperkingen in hun licentieovereenkomsten die het gebruik voor bepaalde taken (bijv. medisch advies of juridische beslissingen) verbieden of menselijke controle eisen.
3. Autonomie: Er is onduidelijkheid over in welke mate software-systemen veiligheidskritieke taken volledig autonoom via ML kunnen uitvoeren en welke maatregelen er zijn om de risico's van volledig modelgedreven besluitvorming te mitigeren.

Er was tot nu toe geen specifiek onderzoek dat het gebruik van ML-modellen in hoog-risico open-source projecten onderzocht en hun naleving van regelgeving en ToU evalueerde.

Methodologie

De auteurs voerden een empirische studie uit op basis van een handmatige analyse van open-source projecten op GitHub.

• Dataselectie:
  • Er werden 16 domeinen geïdentificeerd die corresponderen met "hoog-risico AI-systemen" volgens de EU AI Act (bijv. gezondheidszorg, autonome voertuigen, financiën, justitie).
  • Via de GitHub Search API werden projecten gevonden die gerelateerde topics gebruikten.
  • De selectie werd beperkt tot Python-projecten die afhankelijk zijn van de huggingface/transformers bibliotheek om de focus te houden op projecten met ML-modellen.
  • Totale steekproef: 173 projecten werden geselecteerd voor analyse.
• Analyseprocedure (Beantwoording van drie Research Questions):
  • RQ1 (Besluitvorming): Handmatige review van documentatie en broncode om te bepalen of ML-modellen beslissingen nemen zonder menselijke tussenkomst (fully automated) of met menselijke controle (human-in-the-loop). Dit omvatte het traceren van model-instantiatie en het analyseren van de controleflow.
  • RQ2 (Post-processing): Inspectie van de broncode om te zien hoe modeloutput wordt omgezet in beslissingen. Er werd gekeken naar post-processing patronen zoals drempelwaarden, validatieregels, en aggregatiemechanismen om risico's te mitigeren.
  • RQ3 (Compliance): Evaluatie van de naleving van de Terms of Use (ToU) van de modellen. Dit omvatte het controleren van de context, het besluitvormingsgedrag en de post-processing tegen de verboden gebruiksscenario's en vereisten voor menselijke controle in de ToU.

Belangrijkste Resultaten

1. Gebruik van ML voor Besluitvorming (RQ1)

• Van de 173 onderzochte projecten gebruikten 45 projecten (26%) ML-modellen voor geautomatiseerde besluitvorming.
• Niveau van automatisering:
  • 36 projecten implementeren volledig geautomatiseerde beslissingen (zonder menselijke tussenkomst).
  • 9 projecten gebruiken gedeeltelijke automatisering met een mens-in-de-lus (bijv. medische diagnoses die door een mens worden geverifieerd).
• Categorieën van beslissingen: De beslissingen werden ingedeeld in negen categorieën. De meest voorkomende was "AI Recommender" (20 projecten), gevolgd door "Automated Control" (7 projecten) en "Threat Detection" (4 projecten). Andere categorieën omvatten visuele generatie, besluitoptimalisatie en governance.

2. Post-processing Maatregelen (RQ2)

• 40 van de 45 projecten die geautomatiseerde beslissingen nemen, passen ten minste één post-processing stap toe op de ML-output. Slechts 5 projecten gebruiken de "raw" output direct.
• Gevonden patronen:
  • Output Structuring: Het gebruik van reguliere expressies om formatfouten op te lossen.
  • Output Consistency: Toepassing van domeinspecifieke regels (bijv. fysiek haalbare versnelling in autonoom rijden of beperking van risicovolle investeringen).
  • Auto-Refiner: Systemen met feedbackloops die de output evalueren en het model opnieuw activeren.
  • Multi-Agent Coordination: Meerdere modellen raadplegen om tot een consensus te komen.
  • Confidence Threshold: Beslissingen worden alleen genomen als de betrouwbaarheid een bepaalde drempel (bijv. 80-90%) overschrijdt.

3. Naleving van Terms of Use en Regelgeving (RQ3)

• Hoog risico: Alle 45 onderzochte projecten vallen binnen de "hoog-risico" categorieën van de EU AI Act, waar menselijke toezicht vaak wettelijk vereist is.
• ToU Schendingen: 25 projecten (ongeveer 56%) gebruiken een ML-model in strijd met de Terms of Use.
  • Alle geconstateerde schendingen betroffen propriëtaire LLM's (zoals GPT-4o, Gemini, LLaMA, Qwen). Er werden geen vergelijkbare problemen gevonden bij open-weight modellen, voornamelijk omdat de ToU voor deze minder vaak expliciet beperkend zijn of minder goed gedocumenteerd in de analyse.
  • De schendingen bestonden voornamelijk uit het gebruik van modellen voor geautomatiseerde beslissingen in gevoelige domeinen (gezondheid, financiën, juridisch) zonder menselijke controle, wat expliciet verboden is in de ToU van deze providers.
  • GPT-4o en Gemini modellen waren het meest betrokken bij potentiële schendingen.

Belangrijkste Bijdragen

1. Empirisch Bewijs: Dit paper levert het eerste empirische bewijs van non-compliant ML-automatisering in open-source software, specifiek in hoog-risico domeinen.
2. Taxonomie van Beslissingen: Het biedt een gedetailleerde classificatie van hoe ML-modellen beslissingen nemen in de praktijk (van aanbevelingen tot directe fysieke controle).
3. Identificatie van Compliance Gaten: Het toont aan dat er een significante kloof bestaat tussen de wettelijke vereisten (EU AI Act), de licentievoorwaarden van modelproviders en de daadwerkelijke implementatie in open-source projecten.
4. Replikeerbaar Framework: De auteurs hebben een replicatiepakket beschikbaar gesteld en een methodologie ontwikkeld die kan dienen als basis voor verdere studies en tools.

Betekenis en Conclusie

De studie concludeert dat hoewel ontwikkelaars vaak post-processing maatregelen nemen om de betrouwbaarheid van ML-outputs te verbeteren, er een groot risico bestaat op regelgevingsschendingen. Veel projecten gebruiken modellen op manieren die strijdig zijn met hun licenties en de EU AI Act, vooral door het ontbreken van menselijke toezicht in kritieke domeinen.

De bevindingen onderstrepen de noodzaak voor:

• Het ontwikkelen van richtlijnen voor ontwikkelaars om compliant ML-systemen te bouwen.
• Het creëren van geautomatiseerde analyse-tools die potentiële regelgevingsschendingen en ToU-kringen in software-systemen kunnen detecteren.
• Meer bewustwording binnen de open-source gemeenschap over de juridische en ethische implicaties van het gebruik van foundation models in veiligheidskritieke toepassingen.