From Silos to Systems: Process-Oriented Hazard Analysis for AI Systems

Resumo Técnico: Dos Silos aos Sistemas: Análise de Perigos Orientada a Processos para Sistemas de IA

Declaração do Problema
As abordagens atuais para analisar riscos em sistemas de Inteligência Artificial (IA) focam predominantemente em componentes individuais — como dados de treinamento ou modelos de aprendizado de máquina específicos — de forma isolada. Esta perspectiva "siloada" negligencia perigos que emergem das interações entre componentes, da integração de modelos em pilhas de software mais amplas e dos processos sociotécnicos de desenvolvimento e operação. Embora os marcos regulatórios (ex: o EU AI Act) e as práticas da indústria (ex: system cards) estejam começando a distinguir entre modelos de IA e sistemas de IA, há uma carência de frameworks empíricos para facilitar a análise de perigos ao nível de sistema. Os métodos existentes frequentemente falham em considerar a natureza emergente da segurança em sistemas sociotécnicos complexos, onde danos surgem não apenas da falha de um componente, mas da interação entre artefatos técnicos, atores humanos e processos institucionais. Além disso, os sistemas de IA possuem características únicas — como opacidade do modelo, capacidades probabilísticas e complexidade de saída — que variam significativamente entre paradigmas (ex: regressão linear vs. modelos generativos), complicando a aplicação de ferramentas tradicionais de engenharia de segurança.

Metodologia
Os autores adaptam a Análise de Processo de Teoria de Sistemas (STPA), um framework de análise de perigos bem estabelecido no campo da segurança de sistemas, para uso em contextos de IA. A STPA trata a segurança como uma propriedade emergente de todo o sistema, analisando estruturas de controle e loops de feedback em vez de apenas falhas de componentes.

A pesquisa emprega uma abordagem de estudo de caso qualitativo envolvendo três sistemas de IA distintos em diferentes domínios e paradigmas:

1. Caso 1 (C1): Um sistema de alerta precoce baseado em regressão linear para prever sepse de início tardio em bebês prematuros (Humano no loop/Human-in-the-loop).
2. Caso 2 (C2): Um sistema de injeção de insulina automatizado baseado em Aprendizado por Reforço (RL) para o gerenciamento de diabetes (Humano fora do loop/Human-out-of-the-loop).
3. Caso 3 (C3): Modelos generativos de texto-para-imagem (T2I) usados para storyboarding em prática criativa (Humano como usuário de ferramenta/Human-as-tool-user).

A metodologia envolveu a coleta de dados através de entrevistas com stakeholders, workshops e revisão de documentação técnica e literatura acadêmica. Os pesquisadores aplicaram as quatro etapas padrão da STPA para cada caso:

1. Identificação do propósito da análise (perdas e limites do sistema).
2. Criação de diagramas de controle (mapeamento de controladores, processos controlados e feedback).
3. Identificação de Ações de Controle Inseguras (UCAs).
4. Identificação de cenários de perda (cadeias causais que levam às UCAs).

Através de uma análise iterativa e reflexiva dessas aplicações, os autores desenvolveram o PHASE (Análise de Perigo Orientada a Processos para Sistemas de IA), uma diretriz que traduz os conceitos da STPA para abordar desafios específicos da IA.

Principais Contribuições
A principal contribação é a diretriz PHASE, que adapta a STPA para a IA introduzindo modificações específicas para lidar com a heterogeneidade dos sistemas de IA:

• Taxonomia de Perda Ampliada: O PHASE expande a definição de "perda" além dos resultados tradicionais de segurança crítica (ex: perda de vida) para incluir perdas relacionadas ao desempenho (ex: eficiência, reputação) e perdas sociotécnicas (ex: violações de privacidade, perda de diversidade, viés algorítmico).
• Limites de Sistema Orientados ao Processo: Em vez de desenhar limites em torno do modelo em si, o PHASE define limites em torno dos processos de desenvolvimento e uso (a cadeia de suprimentos algorítmica), reconhecendo que os desenvolvedores controlam os dados e as escolhas de design, mas não necessariamente as representações latentes aprendidas.
• Estruturas de Controle Dinâmicas: O framework acomoda a fluidez de papéis na IA, onde um componente (ex: um assistente de IA) pode atuar como um controlador em um contexto e como um processo controlado em outro, dependendo de mandatos organizacionais e padrões de uso.
• Cenários de Perda Específicos de IA: O PHASE contabiliza explicitamente cenários de perda decorrentes de capacidades de sistema emergentes e evolutivas (ex: atualizações de modelos, retreinamento ou expansão de casos de uso) que superam as salvaguardas existentes, um fator frequentemente negligenciado na STPA tradicional aplicada a sistemas estáticos.

Resultados e Descobertas
A aplicação da STPA via PHASE nos três estudos de caso gerou várias descobertas:

• Aplicabilidade: Os conceitos centrais e as etapas da STPA são aplicáveis a sistemas de IA, mas requerem adaptações direcionadas para abordar desafios específicos da IA, como opacidade e autonomia.
• Detecção de Perigos: A análise em nível de sistema identificou com sucesso perigos que permaneceriam invisíveis em auditorias de nível de componente. Por exemplo, um modelo pode passar em uma auditoria de equidade isoladamente, mas a interação no nível de sistema entre um alerta imperfeito e o excesso de confiança (over-trust) de um clínico pode levar ao erro de diagnóstico.
• A Heterogeneidade Importa: A análise revelou que diferentes paradigmas de IA (modelos lineares, RL, modelos generativos) impõem diferentes demandas à análise. Por exemplo, definir os limites do sistema foi mais complexo para plataformas generativas abertas do que para o sistema de insulina por RL, que é mais restrito.
• Quatro Principais Afordâncias: O estudo identifica quatro afordâncias específicas fornecidas pelo PHASE para os analistas:
  1. Detecção em Nível de Sistema: Identificação de perigos decorrentes do acúmulo de questões díspares ao longo do ciclo de vida do sistema.
  2. Reconhecimento de Fatores Sociais: Mapeamento explícito de fatores sociais (ex: cultura organizacional, pressões de tempo) que contribuem para danos algorítmicos.
  3. Responsabilidade Rastreável: Estabelecimento de cadeias claras de responsabilidade ao mapear ações de controle e loops de feedback para atores e artefatos específicos, distinguindo se um dano originou-se da coleta de dados, do treinamento do modelo ou da interação do usuário.
  4. Monitoramento de Perigos Emergentes: Capacitação para o monitoramento contínuo de novos perigos à medida que os sistemas de IA se adaptam, atualizam ou mudam seu contexto operacional ao longo do tempo.

Significância e Alegações
O artigo alega que o PHASE oferece um complemento crítico aos esforços atuais de IA Responsável (RAI), ao deslocar a lente analítica de componentes isolados para as propriedades emergentes do sistema completo. Argumenta-se que a segurança na IA não é meramente um atributo técnico de um modelo, mas uma propriedade sociotécnica das estruturas de controle do sistema.

Os autores posicionam o PHASE como uma ferramenta para:

• Facilitar a transição de "silos" para "sistemas" na análise de segurança de IA.
• Fornecer um método estruturado para estabelecer a rastreabilidade entre danos específicos e os atores ou processos responsáveis por mitigá-los, abordando assim o "hiato de responsabilidade" no desenvolvimento de IA.
• Apoiar o desenvolvimento de uma cultura de segurança dentro das organizações, tornando explícitos os riscos implícitos e os fatores sociais.

Os autores mantêm-se modestos quanto à generalização de seus achados, observando que, embora os três estudos de caso abranjam paradigmas distintos, eles não representam todo o cenário da IA. Eles reconhecem que a eficácia do PHASE depende da expertise dos analistas e da disposição das organizações em alocar recursos para a segurança. O trabalho é apresentado como um passo fundamental para integrar os princípios de engenharia de segurança de sistemas no discurso mais amplo de governança de IA e desenvolvimento responsável.