Machine Learning in the Wild: Early Evidence of Non-Compliant ML-Automation in Open-Source Software

1. Problema y Contexto

La creciente disponibilidad de modelos de Aprendizaje Automático (ML), especialmente los modelos fundacionales (foundation models), ha facilitado su integración en una amplia gama de aplicaciones, desde entornos de bajo riesgo hasta contextos críticos para la seguridad y la misión (como vehículos autónomos, salud y finanzas).

El problema central abordado es la falta de cumplimiento normativo y de seguridad en el uso de estos modelos. Específicamente:

• Muchos sistemas de software utilizan ML para tomar decisiones autónomas en dominios de "alto riesgo" definidos por regulaciones como la Ley de IA de la UE.
• Existe un riesgo significativo de violar los Términos de Uso (ToU) de los proveedores de modelos (por ejemplo, usar un modelo para asesoramiento médico o legal cuando su licencia lo prohíbe).
• No hay evidencia empírica previa sobre cómo los proyectos de código abierto implementan estas decisiones automatizadas y si aplican las salvaguardas necesarias (como la supervisión humana o el post-processing).

2. Metodología

Los autores realizaron una investigación preliminar basada en el análisis manual de un conjunto de proyectos de código abierto.

• Selección de la Muestra:

  • Se identificaron 16 dominios de aplicación de alto riesgo (salud, conducción autónoma, finanzas, ciberseguridad, etc.) basándose en la Ley de IA de la UE.
  • Se utilizaron las etiquetas (topics) de GitHub para recuperar proyectos relacionados, filtrando por el lenguaje Python.
  • Se intersectó esta lista con las dependencias de la biblioteca huggingface/transformers para asegurar el uso de modelos ML.
  • Muestra final: 173 proyectos de código abierto (de un total inicial de 12,523 candidatos) que fueron analizados manualmente.

• Preguntas de Investigación (RQ):

  • RQ1: ¿Cómo se utilizan los modelos ML para la toma de decisiones en estos proyectos?
  • RQ2: ¿Qué tipos de post-processing (procesamiento posterior) se aplican a las decisiones basadas en ML?
  • RQ3: ¿En qué medida el uso de los modelos cumple con sus Términos de Uso (ToU) y regulaciones?

• Procedimiento de Análisis:

  • Revisión manual de documentación (README) y código fuente.
  • Identificación de puntos de decisión en el flujo de control (¿es totalmente automático o requiere human-in-the-loop?).
  • Clasificación de las decisiones y detección de patrones de post-processing (reglas de validación, umbrales de confianza, etc.).
  • Verificación de cumplimiento contra los ToU de los modelos propietarios (GPT, Gemini, LLaMA, etc.).

3. Resultados Clave

A. Uso de ML para la Toma de Decisiones (RQ1)

• De los 173 proyectos analizados, 45 (26%) emplean modelos ML para la toma de decisiones automatizada.
• Dominios más frecuentes: Salud (16 proyectos) y Conducción Autónoma (9 proyectos).
• Nivel de Automatización:
  • 36 proyectos implementan decisión totalmente automatizada (sin intervención humana obligatoria).
  • 9 proyectos utilizan un enfoque parcialmente automatizado con supervisión humana (human-in-the-loop).
• Tipos de decisiones: Se clasificaron en 9 categorías. La más prevalente es el "Recomendador de IA" (20 proyectos), seguido por "Control Automatizado" (7 proyectos) y "Detección de Amenazas" (4 proyectos).

B. Procesamiento Posterior (Post-Processing) (RQ2)

• 40 de los 45 proyectos aplican al menos un paso de post-processing antes de utilizar la salida del modelo, evitando depender directamente de la salida "cruda".
• Categorías de Post-Processing:
  1. Estructuración de Salida (13): Uso de expresiones regulares para corregir formatos.
  2. Consistencia de Salida (11): Aplicación de reglas expertas para garantizar que la salida cumpla con restricciones del dominio (ej. límites físicos en conducción, interacciones de fármacos en medicina).
  3. Auto-Refinamiento (9): Bucles de retroalimentación que re-evalúan y re-llaman al modelo.
  4. Coordinación Multi-Agente (9): Múltiples modelos consultan y acuerdan una respuesta final.
  5. Umbral de Confianza (7): Solo se actúa si la probabilidad de confianza supera un límite (ej. >80%).
• Sin embargo, 5 proyectos utilizan la salida cruda sin ninguna validación adicional.

C. Cumplimiento de Términos de Uso y Regulaciones (RQ3)

• Violaciones de ToU: De los 45 proyectos analizados, 25 (aprox. 56%) violan los Términos de Uso de los modelos que utilizan.
• Modelos Involucrados: Las violaciones ocurren principalmente con modelos propietarios (LLMs cerrados) como GPT-4o y Gemini. No se observaron problemas similares en modelos de pesos abiertos (open-weight), aunque esto se debe en parte a la disponibilidad de los ToU.
• Naturaleza de las Violaciones:
  • Uso en dominios prohibidos (salud, finanzas, legales) sin la supervisión humana requerida.
  • Automatización de decisiones de alto riesgo sin revisión humana, contraviniendo tanto la Ley de IA de la UE como las licencias específicas de los modelos.
• Ejemplo: Proyectos de salud que diagnostican enfermedades automáticamente o bots de trading que toman decisiones financieras sin intervención humana, violando cláusulas explícitas de los proveedores.

4. Contribuciones Clave

1. Primer Estudio Empírico: Proporciona la primera evidencia sistemática sobre el uso de ML en proyectos de código abierto de alto riesgo y su cumplimiento normativo.
2. Taxonomía de Decisiones: Define categorías claras para los tipos de decisiones automatizadas y las estrategias de post-processing utilizadas en la industria real.
3. Alerta de Riesgo Legal: Evidencia que más de la mitad de los proyectos analizados que utilizan LLMs propietarios en dominios críticos están incumpliendo sus licencias y, potencialmente, regulaciones gubernamentales.
4. Base para Herramientas Futuras: Establece los cimientos para desarrollar herramientas automatizadas que puedan detectar violaciones de cumplimiento y guiar a los desarrolladores en la creación de sistemas legales y seguros.

5. Significado e Implicaciones

El estudio revela una brecha crítica entre la capacidad técnica de integrar modelos ML y la conciencia (o implementación) de las obligaciones legales y de seguridad.

• Riesgo de Seguridad: La falta de post-processing robusto y la automatización total en dominios críticos (salud, transporte) pueden llevar a fallos catastróficos.
• Riesgo Legal: Los desarrolladores y organizaciones que utilizan estos proyectos de código abierto podrían enfrentar sanciones legales por violar la Ley de IA de la UE o los contratos de licencia de los modelos.
• Necesidad de Acción: Se requiere urgentemente la creación de directrices para desarrolladores y herramientas de análisis estático que verifiquen el cumplimiento regulatorio antes de desplegar sistemas de ML en entornos de producción.

En conclusión, el artículo advierte que la adopción de "ML en la naturaleza" (en el mundo real) está avanzando más rápido que la madurez de las prácticas de ingeniería de software necesarias para garantizar la seguridad y el cumplimiento legal.