Co-constructing sociotechnical AI governance: participatory system mapping using algorithm registers

Resumo Técnico: Co-construção de Governança Sociotécnica de IA via Mapeamento de Sistemas Participativo

Problema
Os registros de algoritmos estão sendo cada vez mais adotados por organizações do setor público para fornecer transparência em relação ao uso de algoritmos em serviços públicos. No entanto, as implementações atuais enfrentam limitações significativas: elas frequentemente falham em reconciliar as variadas necessidades de informação de diversos stakeholders (cidadãos, sociedade civil, órgãos de supervisão), e a informação fornecida é frequentemente ou escassa demais para ser útil ou técnica demais para ser compreendida. Consequentemente, esses registros lutam para facilitar uma accountability significativa ou para representar os sistemas sociotécnicos completos nos quais os algoritmos estão inseridos. O artigo postula que, sem compreender como os registros constituem e informam a governança de algoritmos, as práticas de governança correm o risco de se tornarem esforços desconexos que não conseguem antecipar ou abordar perigos reais de segurança.

Metodologia
O estudo emprega uma abordagem de métodos mistos centrada em um estudo de caso do "Avola", uma ferramenta de suporte à decisão usada por assistentes sociais municipais para avaliar a elegibilidade a benefícios de assistência social via automação jurídica (mecanismo de regras de negócio/business rule engine). A pesquisa envolveu cinco estágios, com foco principal nos Estágios IV e V:

1. Identificação de Stakeholders: O estudo envolveu três grupos distintos: Funcionários Municipais (stakeholders diretos, incluindo oficiais de governança de algoritmos e proprietários de produtos), Ombudsman Municipal e Organizações da Sociedade Civil (CSOs) (stakeholders indiretos).
2. Mapeamento de Sistema Participativo (Estágio IV): Dois workshops foram realizados com esses grupos. Os participantes foram apresentados a um mapa de sistema preliminar (M0) derivado do registro de algoritmos municipal e da documentação pública. Utilizando folhas de trabalho e mapas de grande formato, os participantes anotaram o sistema para identificar atores, processos e loops de feedback ausentes. Este processo integrou o "conhecimento situado" de stakeholders indiretos com a documentação técnica do registro.
3. Análise de Processo Teórico de Sistema (STPA) (Estágio V): Os autores utilizaram o framework de Modelo e Processos de Acidentes Teóricos de Sistema (STAMP) para conduzir uma análise de segurança. Os mapas participativos informaram a construção de uma Estrutura de Controle Hierárquico (HCS). A análise seguiu quatro etapas iterativas:
   • Identificação de potenciais perdas (ex: negação indevida de benefícios).
   • Modelagem da estrutura de controle hierárquico (camadas técnica, operacional, organizacional e institucional).
   • Identificação de Ações de Controle Inseguras (UCAs) onde os mecanismos de controle falham.
   • Derivação de Cenários de Perda que ligam perigos do sistema a perdas específicas.

Principais Contribuições
O artigo apresenta três contribuições centrais para os campos da governança de IA e ciência da segurança:

1. Avaliação Empírica: Fornece uma avaliação crítica de um registro de algoritmos municipal, demonstrando que, embora sirva como uma ferramenta "disciplinar" para inventário interno, ele atualmente falha em atender às necessidades de transparência dos stakeholders externos devido à abstração e falta de detalhes acionáveis.
2. Esquema de Mapeamento Participativo: Desenvolve e valida um método para mapear sistemas algorítmicos e suas estruturas de governança, integrando as perspectivas de stakeholders diretos e indiretos. Esta abordagem revela componentes e dinâmicas de sistema que são ocultados nas divulgações padrão do registro.
3. Reflexão Normativa: Reflete sobre as dimensões políticas da análise de segurança de sistemas, argumentando que as abstrações usadas para mapear estruturas de governança são escolhas inerentemente políticas que determinam o que é visível e o que permanece oculto.

Resultos
O mapeamento participativo e a subsequente análise STPA revelaram vários perigos de segurança e lacunas de governança que não eram aparentes apenas através do registro de algoritmos:

• Falhas de Human-in-the-Loop: Embora o registro afirme que os assistentes sociais têm o poder de decisão final, a análise identificou um risco de "viés de automação" onde os assistentes, sob pressão de tempo ou confiando na "automação jurídica" como objetiva, podem falhar em detectar erros (ex: dados desatualizados do cidadão). Isso leva ao cenário de perda de negação indevida de benefícios.
• Deficiências no Procedimento de Reclamações: O registro indicava que os relatórios de incidentes eram compartilhados com o desenvolvedor, mas o processo participativo revelou que as métricas de erro não eram rastreadas sistematicamente. Consequentemente, as reclamações provavelmente são tratadas caso a caso, em vez de agregadas para identificar padrões sistêmicos, impedindo atualizações necessárias no modelo.
• Lacunas de Supervisão e Accountability: Ombudsmen e CSOs consideraram a divulgação das avaliações de risco (FRAIA e DPIA) no registro insuficiente. O registro afirmava que as avaliações foram realizadas, mas omitia detalhes sobre as descobertas ou métricas de erro. Essa falta de documentação técnica impede que atores externos contestem decisões de forma eficaz ou montem desafios legais em Tribunal Civil.
• Contexto Político: O mapeamento revelou que o registro de algoritmos está inserido em uma complexa hierarquia política (Vereadores, Conselho Municipal, Ministério do Interior). A informação divulgada está sujeita a negociações políticas e restrições de recursos, muitas vezes priorizando as necessidades de intermediários especialistas em detrimento do público geral.

Significância e Alegações
O artigo alega que os registros de algoritmos, em sua forma atual, são insuficientes para alcançar uma accountability pública significativa. Os autores argumentam que a transparência é um ato relacional que requer a compreensão da heterogeneidade dos "públicos". Ao envolver stakeholders indiretos (Ombudsmen, CSOs) através do mapeamento de sistema participativo, o estudo demonstra que:

• A Segurança do Sistema Requer Pluralismo: A análise de segurança não pode ser puramente técnica; ela deve incorporar o conhecimento situado daqueles que são afetados pelo sistema ou que o monitoram para identificar perigos como o viés de automação e loops de feedback opacos.
• Registros como Artefatos Políticos: O conteúdo de um registro de algoritmo não é neutro; reflete escolhas políticas sobre o que divulgar. Portanto, melhorar esses instrumentos requer o engajamento com os processos políticos que os moldam.
• Mudança Metodológica: Os autores propõem que métodos teóricos de sistema como o STPA, quando combinados com o design participativo, oferecem um framework robusto para reconstruir a arquitetura sociotécnica da governança algorítmica. Isso permite uma identificação mais abrangente de perigos de segurança do que o próprio registro pode fornecer.

O estudo conclui que, embora os registros de algoritmos sejam um passo necessário em direção à transparência, eles devem evoluir para melhor alinhar-se com as necessidades de informação de diversos stakeholders e serem compreendidos como parte de um sistema sociotécnico mais amplo e politicamente situado.