Quality Model for Machine Learning Components

Resumo Técnico: Modelo de Qualidade para Componentes de Aprendizado de Máquina

Declaração do Problema
Apesar da crescente adoção de aprendizado de máquina (ML) e da disponibilidade de infraestruturas de MLOps, permanece uma lacuna significativa entre o desenvolvimento de modelos de ML e a implantação bem-sucedida em produção. Estudos indicam que apenas aproximadamente 40% dos protótipos de ML chegam à produção. Uma causa primária de falha é que as práticas de teste limitam-se amplamente à avaliação de propriedades do modelo, como a precisão preditiva, negligenciando requisitos derivados do contexto de sistema mais amplo (ex: vazão, consumo de recursos, robustez).

Além disso, existe frequentemente um descompasso entre desenvolvedores de modelos e partes interessadas do sistema (stakeholders). Os desenvolvedores de modelos frequentemente carecem do contexto do sistema ou das habilidades necessárias para testar além da precisão, enquanto os requisitos do sistema muitas vezes não são compartilhados com eles. Os padrões de qualidade existentes, como a ISO 25010 e a mais recente ISO 25059 para sistemas de IA, apresentam um desafio: elas combinam atributos de nível de sistema com atributos de nível de componente. Atributos como "coexistência" (a capacidade de operar eficientemente enquanto compartilha recursos) não podem ser avaliados no nível de componente por um desenvolvedor de modelo, embora imponham restrições críticas ao componente. Essa confluência dificulta a elicitação de requisitos e o teste de componentes de ML, particularmente em cenários onde o desenvolvimento é terceirizado, conduzido por equipes de ciência de dados separadas ou envolve modelos pré-treinados.

Metodologia
Os autores desenvolveram um modelo de qualidade especificamente para componentes de ML através de um processo rigoroso e de múltiplas etapas, projetado para isolar atributos de componentes testáveis de atributos de nível de sistema.

1. Identificação de Fontes: O processo começou com três documentos de padrões (ISO 25010, ISO 25059 e ISO 25019) e dois estudos relevantes da academia e da indústria.
2. Extração e Deduplicação: Uma equipe de quatro pesquisadores (com formação em engenharia de software e ciência de dados) extraiu 163 atributos de qualidade (QAs) literalmente. Usando a técnica de card sorting, eles os agruparam em 80 grupos de QAs para eliminar duplicatas e resolver inconsistências de nomenclatura.
3. Anotação e Filtragem: Cada grupo de QA foi anotado por tipo:
   • Tipo 1: Aplica-se ao componente de ML (testável no nível do componente).
   • Tipo 2: Aplica-se ao sistema habilitado por ML, mas impõe requisitos ao componente de ML (derivado do sistema).
   • Tipo 3: Aplica-se estritamente ao sistema (não testável no nível do componente).
     Através da construção de consenso, 44 grupos foram identificados como Tipo 1 (ou Tipo 1 e 2), enquanto 10 eram Tipo 3.
4. Definição e Categorização: A equipe refinou os 44 grupos em 35 QAs distintos com definições focadas em capacidades de ML. Um exercício final de card sorting agrupou esses itens em 7 categorias, resultando em um modelo final de 30 Atributos de Qualidade.

Principais Contribuições
A principal contribuição é um Modelo de Qualidade para Componentes de ML que serve como um guia para a elicitação e negociação de requisitos. Ele fornece um vocabulário comum para que desenvolvedores de componentes de ML e stakeholders do sistema definam requisitos derivados do sistema e foquem os esforços de teste. O modelo distingue entre atributos que podem ser testados no nível do componente e aqueles que são de nível de sistema, abordando as limitações dos padrões atuais como a ISO 25059.

O modelo é estruturado em sete categorias:

1. Análise de Comportamento: Analisabilidade, Monitorabilidade, Testabilidade, Compreensibilidade.
2. Confiança: Explicabilidade, Correção Funcional, Interpretabilidade.
3. Consistência: Repetibilidade, Reprodutibilidade.
4. Operação Contínua: Implantabilidade (Deployability), Resiliência, Confiabilidade, Utilização de Recursos, Robustez, Comportamento Temporal.
5. Manutenção e Evolução: Adaptabilidade de Domínio, Manutenibilidade, Modificabilidade, Portabilidade, Substituibilidade, Retreinabilidade, Reutilizabilidade.
6. IA Responsável: Conformidade, Consideração de Risco Econômico, Equidade (Fairness), Consideração de Risco à Saúde e Segurança, Inclusividade, Consideração de Risco Social e Ético.
7. Segurança e Privacidade: Privacidade, Resistência.

Resultados e Validação
A relevância e o valor do modelo foram validados através de uma pesquisa com profissionais por convite, realizada em agosto e setembro de 2025, gerando 22 respostas completas de organizações governamentais, de pesquisa e industriais.

• Práticas de Teste Atuais (RQ1): A pesquisa revelou que o teste atual é amplamente dominado pela "Qualidade Preditiva" (especificamente precisão), que constituiu 19% das respostas. Outros atributos como latência e viés foram mencionados com muito menos frequência (6%). Isso confirma a lacuna que o modelo visa preencher.
• Aplicabilidade a LLMs vs. ML Tradicional (RQ2): Os participantes indicaram que 70% dos QAs identificados são relevantes tanto para modelos de ML tradicionais quanto para Grandes Modelos de Linguagem (LLMs). Embora alguns atributos tenham sido percebidos como mais relevantes para um tipo (ex: "calibração" para LLMs, "variáveis latentes" para ML tradicional), o modelo foi considerado capaz de fornecer orientação ampla entre os tipos de modelos.
• Importância e Dificuldade (RQ3):
  • Importância: Confiabilidade, Testabilidade, Implantabilidade, Correção Funcional e Robustez foram classificados como os mais importantes.
  • Dificuldade: "Resistência" (segurança) foi classificada como a mais difícil de testar, seguida por Resiliência e Considerações de Risco Ético. Por outro lado, Utilização de Recursos e Comportamento Temporal foram classificados como mais fáceis de testar.
  • Consenso: 100% dos participantes concordaram (fortemente ou de outra forma) que considerar esses atributos de qualidade leva à detecção precoce de problemas que, de outra forma, permaneceriam indetectados até a produção.

Significância e Alegações
O artigo afirma que este é o primeiro modelo de qualidade desenvolvido empiricamente e validado que foca especificamente em atributos de qualidade testáveis para componentes de ML. Sua significância reside em:

1. Preencher a Lacuna de Comunicação: Fornece uma linguagem compartilhada para que stakeholders do sistema e desenvolvedores de modelos negociem requisitos, particularmente quando as equipes estão separadas ou o desenvolvimento é terceirizado.
2. Permitir Testes Dirigidos pelo Sistema: Permite que desenvolvedores de modelos avaliem quão bem seus componentes satisfazem os requisitos derivados do sistema (ex: limites de recursos, comportamento temporal) antes da integração.
3. Aplicação Prática: O modelo foi integrado com sucesso ao MLTE (ML Test and Evaluation), uma ferramenta de código aberto. O MLTE utiliza o modelo para guiar a elicitação de requisitos e inclui um catálogo de testes organizado por esses atributos de qualidade, oferecendo exemplos de código de teste reutilizáveis para cada atributo.

Os autores mantêm uma postura modesta, reconhecendo que o modelo não cobre a qualidade dos dados (que propõem como um passo futuro) e que a escalabilidade foi intencionalmente excluída como uma propriedade de nível de sistema, e não de componente. O trabalho visa mudar o foco da indústria de métricas puramente preditivas para uma visão holística da qualidade do componente dentro do contexto do sistema.