Quality Model for Machine Learning Components

Resumen Técnico: Modelo de Calidad para Componentes de Aprendizaje Automático

Planteamiento del Problema
A pesar de la creciente adopción del aprendizaje automático (ML) y la disponibilidad de infraestructuras de MLOps, persiste una brecha significativa entre el desarrollo de modelos de ML y su implementación exitosa en producción. Los estudios indican que solo aproximadamente el 40% de los prototipos de ML llegan a producción. Una causa principal de fracaso es que las prácticas de prueba se limitan en gran medida a evaluar las propiedades del modelo, como la precisión predictiva, mientras que se descuidan los requisitos derivados del contexto más amplio del sistema (por ejemplo, el rendimiento, el consumo de recursos, la robustidad).

Además, suele existir una desconexión entre los desarrolladores de modelos y los interesados del sistema (stakeholders). Los desarrolladores de modelos carecen frecuentemente del contexto del sistema o de las habilidades necesarias para probar más allá de la precisión, mientras que los requisitos del sistema a menudo no se comparten con ellos. Los estándares de calidad existentes, como ISO 25010 y la más reciente ISO 25059 para sistemas de IA, presentan un desafío: combinan atributos del sistema con atributos del componente. Atributos como la "coexistencia" (la capacidad de funcionar eficientemente mientras se comparten recursos) no pueden ser evaluados a nivel de componente por un desarrollador de modelos, aunque imponen restricciones críticas al componente. Esta confusión obstaculiza la elicitación de requisitos y las pruebas para los componentes de ML, particularmente en escenarios donde el desarrollo se externaliza, se lleva a cabo por equipos de ciencia de datos separados o involucra modelos preentrenados.

Metodología
Los autores desarrollaron un modelo de calidad específicamente para componentes de ML mediante un proceso riguroso de múltiples pasos diseñado para aislar los atributos de calidad probables del componente de los atributos a nivel de sistema.

1. Identificación de Fuentes: El proceso comenzó con tres documentos de estándares (ISO 25010, ISO 25059 e ISO 25019) y dos estudios académicos/industriales relevantes.
2. Extracción y Deduplicación: Un equipo de cuatro investigadores (con formación en ingeniería de software y ciencia de datos) extrajo 163 atributos de calidad (QA) de forma literal. Mediante la técnica de card sorting, los agruparon en 80 grupos de QA para eliminar duplicados y resolver inconsistencias de nomenclatura.
3. Anotación y Filtrado: Cada grupo de QA fue anotado por tipo:
   • Tipo 1: Se aplica al componente de ML (probable a nivel de componente).
   • Tipo 2: Se aplica al sistema habilitado por ML, pero impone requisitos al componente de ML (derivado del sistema).
   • Tipo 3: Se aplica estrictamente al sistema (no probable a nivel de componente).
     Mediante la construcción de consenso, se identificaron 44 grupos como Tipo 1 (o Tipo 1 y 2), mientras que 10 fueron identificados como Tipo 3.
4. Definición y Categorización: El equipo refinó los 44 grupos en 35 QA distintos con definiciones centradas en las capacidades de ML. Un ejercicio final de card sorting agrupó estos en 7 categorías, resultando en un modelo final de 30 Atributos de Calidad.

Contribuciones Clave
La contribución principal es un Modelo de Calidad para Componentes de ML que sirve como guía para la elicitación y negociación de requisitos. Proporciona un vocabulario común para que los desarrolladores de componentes de ML y los interesados del sistema definan los requisitos derivados del sistema y enfoquen los esfuerzos de prueba. El modelo distingue entre atributos que pueden probarse a nivel de componente y aquellos que son a nivel de sistema, abordando las limitaciones de los estándares actuales como ISO 25059.

El modelo está estructurado en siete categorías:

1. Análisis de Comportamiento: Analizabilidad, Monitoreabilidad, Testabilidad, Comprensibilidad.
2. Confianza: Explicabilidad, Corrección Funcional, Interpretabilidad.
3. Consistencia: Repetibilidad, Reproducibilidad.
4. Operación Continua: Desplegabilidad, Resiliencia, Fiabilidad, Utilización de Recursos, Robustez, Comportamiento Temporal.
5. Mantenimiento y Evolución: Adaptabilidad de Dominio, Mantenibilidad, Modificabilidad, Portabilidad, Reemplazabilidad, Reentrenabilidad, Reusabilidad.
6. IA Responsable: Cumplimiento, Consideración de Riesgo Económico, Equidad, Consideración de Riesgo para la Salud y Seguridad, Inclusividad, Consideración de Riesgo Social y Ético.
7. Seguridad y Privacidad: Privacidad, Resistencia.

Resultos y Validación
La relevancia y el valor del modelo se validaron mediante una encuesta a profesionales por invitación realizada en agosto y septiembre de 2025, que obtuvo 22 respuestas completas de organizaciones gubernamentales, de investigación e industriales.

• Prácticas de Prueba Actuales (RQ1): La encuesta reveló que las pruebas actuales están abrumadoramente dominadas por la "Calidad Predictiva" (específicamente la precisión), que constituyó aproximadamente el 19% de las respuestas. Otros atributos como la latencia y el sesgo fueron mencionados con mucha menos frecuencia (~6%). Esto confirma la brecha que el modelo pretende llenar.
• Aplicabilidad a LLMs vs. ML Tradicional (RQ2): Los participantes indicaron que el 70% de los QA identificados son relevantes tanto para modelos de ML tradicionales como para los Modelos de Lenguaje Extensos (LLMs). Aunque algunos atributos fueron percibidos como más relevantes para un tipo (por ejemplo, "calibración" para LLMs, "variables latentes" para ML tradicional), el modelo resultó proporcionar una guía amplia para todos los tipos de modelos.
• Importancia y Dificultad (RQ3):
  • Importancia: La Fiabilidad, la Testabilidad, la Desplegabilidad, la Corrección Funcional y la Robustez fueron calificadas como las más importantes.
  • Dificultad: La "Resistencia" (seguridad) fue calificada como lo más difícil de probar, seguida de la Resiliencia y las Consideraciones de Riesgo Ético. Por el contrario, la Utilización de Recursos y el Comportamiento Temporal fueron calificados como más fáciles de probar.
  • Consenso: El 100% de los participantes estuvo de acuerdo (ya sea de forma rotunda o no) en que considerar estos atributos de calidad conduce a la detección temprana de problemas que de otro modo permanecerían sin detectar hasta la producción.

Significancia y Reivindicaciones
El artículo afirma que este es el primer modelo de calidad desarrollado empíricamente y validado que se enfoca específicamente en los atributos de calidad probables para componentes de ML. Su significancia radica en:

1. Cerrar la Brecha de Comunicación: Proporciona un lenguaje compartido para que los interesados del sistema y los desarrolladores de modelos negocien los requisitos, particularmente cuando los equipos están separados o el desarrollo es externalizado.
2. Permitir Pruebas Dirigidas por el Sistema: Permite a los desarrolladores de modelos evaluar qué tan bien sus componentes satisfacen los requisitos derivados del sistema (por ejemplo, límites de recursos, comportamiento temporal) antes de la integración.
3. Aplicación Práctica: El modelo ha sido integrado con éxito en MLTE (ML Test and Evaluation), una herramienta de código abierto. MLTE utiliza el modelo para guiar la elicitación de requisitos e incluye un catálogo de pruebas organizado por estos atributos de calidad, ofreciendo ejemplos de código de prueba reutilizables para cada atributo.

Los autores mantienen una postura modesta, reconociendo que el modelo no cubre la calidad de los datos (que proponen como un paso futuro) y que la escalabilidad fue excluida intencionalmente como una propiedad de nivel de sistema en lugar de una propiedad de componente. El trabajo tiene como objetivo cambiar el enfoque de la industria de las métricas puramente predictivas hacia una visión holística de la calidad del componente dentro del contexto del sistema.