Machine Learning in the Wild: Early Evidence of Non-Compliant ML-Automation in Open-Source Software

Resumo Técnico: Machine Learning na Natureza

1. O Problema

A crescente disponibilidade de modelos de Aprendizado de Máquina (ML), especialmente modelos de base (foundation models), permite sua integração em uma vasta gama de aplicações, desde cenários de baixa risco até contextos críticos para a segurança e missão (ex: veículos autônomos, saúde, finanças).
O problema central abordado é que o uso desses modelos para tomada de decisão autônoma pode:

• Violar os Termos de Uso (ToU) dos próprios modelos.
• Contravenir regulamentações governamentais, como o AI Act da União Europeia, que classifica certos sistemas de IA como "de alto risco" e exige transparência total, supervisão humana (human-in-the-loop) e conformidade estrita.
• Falta de evidências empíricas sobre como projetos de código aberto (Open-Source) estão implementando essas decisões automatizadas e se estão aderindo a essas normas.

2. Metodologia

Os autores realizaram uma investigação preliminar baseada em análise manual e sistemática de projetos no GitHub.

• Contexto e Seleção de Dados:
  • Foram identificados 173 projetos open-source em Python, distribuídos em 16 domínios de aplicação (ex: Saúde, Condução Autônoma, Finanças, Cibersegurança).
  • A seleção foi feita cruzando tópicos do GitHub relacionados a áreas de "alto risco" (definidas pelo Anexo III do AI Act da UE) com dependências da biblioteca huggingface/transformers.
• Perguntas de Pesquisa (RQs):
  • RQ1: Como os modelos de ML são usados para tomar decisões? (Automação total vs. supervisão humana).
  • RQ2: Que tipos de pós-processamento são aplicados às decisões baseadas em ML?
  • RQ3: Até que ponto o uso dos modelos está em conformidade com seus Termos de Uso e regulamentações?
• Procedimento de Análise:
  • Revisão Manual: Análise de documentação (README) e código-fonte para identificar pontos de decisão e fluxo de controle.
  • Classificação: Categorização do papel do modelo (ex: recomendação, controle físico) e verificação de mecanismos de segurança (pós-processamento).
  • Verificação de Conformidade: Comparação do contexto de uso do projeto com os Termos de Uso (ToU) fornecidos pelos proprietários dos modelos (Hugging Face, GitHub, sites oficiais).

3. Contribuições Principais

• Mapeamento Empírico: Primeiro estudo a examinar especificamente o uso de modelos de ML em projetos de alto risco no ecossistema open-source e sua conformidade regulatória.
• Taxonomia de Decisões: Classificação das decisões automatizadas em 9 categorias (ex: Recomendadores de IA, Controle Automatizado, Detecção de Ameaças).
• Identificação de Lacunas de Segurança: Evidência de que a maioria dos projetos não depende diretamente da saída "crua" do modelo, mas aplica camadas de pós-processamento.
• Alerta de Conformidade: Detecção de violações significativas de Termos de Uso e potenciais infrações ao AI Act da UE, especialmente em relação à falta de supervisão humana em áreas críticas.
• Reprodutibilidade: Disponibilização de um pacote de replicação online para validação e extensão dos resultados.

4. Resultados Chave

• Uso para Tomada de Decisão (RQ1):

  • Dos 173 projetos analisados, 45 (26%) utilizam ML para tomada de decisão automatizada.
  • Automação: 36 projetos implementam decisão totalmente automatizada (sem intervenção humana), enquanto 9 usam decisão parcialmente automatizada (com human-in-the-loop).
  • Domínios: As áreas mais frequentes são Saúde (16 projetos) e Condução Autônoma (9 projetos).
  • Tipos de Decisão: A categoria mais comum é "Recomendador de IA" (20 projetos), seguida por "Controle Automatizado" (7 projetos) e "Detecção de Ameaças" (4 projetos).

• Pós-Processamento (RQ2):

  • 40 dos 45 projetos aplicam pelo menos uma etapa de pós-processamento antes de usar a saída do modelo, buscando mitigar riscos.
  • Técnicas Comuns:
    • Estruturação de Saída: Uso de Expressões Regulares para garantir formato.
    • Consistência de Saída: Regras baseadas em especialistas para validar limites físicos ou lógicos (ex: limites de aceleração em carros, interações medicamentosas).
    • Refinamento Automático: Loops de feedback que reavaliam e reexecutam o modelo.
    • Coordenação Multi-Agente: Vários modelos consultam-se para chegar a um consenso.
    • Limiar de Confiança: Bloqueio de decisões se a probabilidade não atingir um nível pré-definido (ex: >80%).

• Conformidade e Violações (RQ3):

  • Alto Risco: Todos os 45 projetos caem em categorias de "Alto Risco" segundo o AI Act da UE, o que teoricamente exige supervisão humana.
  • Violações de Termos de Uso (ToU): 25 projetos (aprox. 56%) violam os ToU dos modelos utilizados.
  • Modelos Envolvidos: As violações ocorrem predominantemente em modelos proprietários (LLMs fechados) como GPT-4o, Gemini, LLaMA e Qwen.
  • Natureza da Violação: O uso indevido ocorre principalmente porque:
    1. O modelo é usado para automatizar decisões de alto risco em áreas sensíveis (saúde, finanças, jurídica) onde os ToU exigem supervisão humana ou proíbem o uso.
    2. O modelo é aplicado em domínios onde não foi concebido para atuar profissionalmente.
  • Nota: Não foram observadas violações comparáveis em modelos de pesos abertos (open-weight), possivelmente devido à disponibilidade limitada de ToU formais para esses modelos.

5. Significado e Conclusão

O estudo revela uma discrepância crítica entre a prática atual de desenvolvimento de software open-source e os requisitos regulatórios emergentes.

• Risco Regulatório: Existe um risco iminente de que sistemas de software críticos estejam operando em violação do AI Act da UE e dos contratos de licença dos modelos, expondo desenvolvedores e usuários a riscos legais e de segurança.
• Necessidade de Ferramentas: Os resultados destacam a urgência de desenvolver diretrizes para desenvolvedores e ferramentas automatizadas capazes de detectar violações de conformidade e riscos de segurança em pipelines de ML.
• Futuro: O trabalho serve como base para a criação de frameworks de avaliação de conformidade e ferramentas de análise estática que verifiquem automaticamente o uso de modelos de ML em sistemas de software.

Em suma, o artigo alerta que, embora existam mecanismos de mitigação (pós-processamento), a automação de decisões de alto risco em projetos open-source frequentemente ignora as restrições legais e contratuais, exigindo atenção imediata da comunidade de engenharia de software.