Governing Trust in Health AI: A Qualitative Study of Cybersecurity Professionals Perspectives

Este estudo qualitativo revela que a credibilidade e a confiança na inteligência artificial na saúde dependem menos do desempenho técnico e mais de práticas de governança e supervisão humana contínua, conforme percebido por profissionais de cibersegurança que atuam como guardiões fundamentais da infraestrutura digital.

O essencial

Imagine que a Inteligência Artificial (IA) na saúde é como um cozinheiro robótico extremamente rápido que acabou de entrar na cozinha de um hospital. Ele pode cortar legumes, temperar pratos e até sugerir receitas novas em segundos.

Mas, segundo este estudo, a pergunta não é: "O robô cozinha bem?". A pergunta real é: "Quem garante que a cozinha não pega fogo e que o robô não envenena o prato?"

Este artigo científico entrevista especialistas em segurança cibernética (os "guardiões da cozinha") para entender como eles veem essa nova tecnologia. Aqui está a explicação simples, usando analogias do dia a dia:

1. O Robô é um "Ajudante", não o "Chefe"

Os especialistas não veem a IA como um médico que substitui os humanos. Eles a veem como uma ferramenta de apoio, como um GPS para o carro.

• A Analogia: O GPS (IA) pode te dizer o caminho mais rápido e evitar o trânsito, mas você (o médico humano) é quem segura o volante, decide se faz sentido virar à direita e é responsável se bater no carro.
• O que eles dizem: A IA é ótima para analisar raios-X rápido ou organizar medicamentos, mas nunca deve tomar a decisão final sozinha. Se o GPS falhar, o motorista precisa estar lá para corrigir.

2. A Cozinha é Cheia de "Vazamentos" (Dados Frágeis)

Os especialistas alertam que os sistemas de saúde atuais são como uma casa antiga com muitas portas e janelas mal fechadas.

• A Analogia: Imagine que os dados dos pacientes são como cartas confidenciais. O sistema atual é como um escritório onde essas cartas estão espalhadas em mesas diferentes, algumas trancadas, outras não.
• O Problema: Quando você coloca um robô (IA) para ler todas essas cartas de uma vez, o risco aumenta. Se a casa não estiver segura, o robô pode acessar informações que não deveria, ou os ladrões podem entrar mais fácil.
• A Realidade: Eles sabem que vazamentos vão acontecer. Não é uma questão de "se", mas de "quando". Por isso, a confiança não vem de achar que é impossível ser hackeado, mas de saber que a equipe tem um plano de emergência rápido e transparente.

3. A Confiança é como uma "Relação de Namoro", não um "Contrato"

Muitas pessoas acham que a confiança na tecnologia é automática: "Se o robô é novo, ele é confiável". Os especialistas dizem que não funciona assim.

• A Analogia: A confiança na IA é como confiar em um novo vizinho. Você não confia nele no primeiro dia só porque ele é simpático. Você confia depois de vê-lo cuidar do seu cachorro, devolver seu jornal e não fazer barulho à noite.
• O que eles dizem: A confiança na IA é condicional. Ela cresce com o tempo, desde que a instituição mostre que está sendo honesta, que explica como o robô funciona e que admite quando ele erra. Se o hospital esconde os erros, a confiança some.

4. Os Guardiões (Especialistas em Segurança) são os "Seguranças e Professores"

O papel desses profissionais não é apenas apagar incêndios. Eles são os arquitetos da confiança.

• A Analogia: Eles são como os seguranças que não só vigiam a porta, mas também ensinam os funcionários a não deixarem a chave embaixo do tapete. Eles dizem: "Não basta ter um alarme; precisamos de um plano caso o alarme toque".
• O Papel: Eles garantem que a segurança seja pensada desde o momento em que o robô é desenhado, não depois que o estrago já foi feito. Eles educam os médicos e administradores sobre os riscos, transformando a segurança em algo que todo mundo entende, não apenas em códigos de computador.

Resumo Final: O Que Isso Significa para Você?

Este estudo nos ensina uma lição importante: A tecnologia por si só não gera confiança.

Se você vai confiar em um robô para cuidar da sua saúde, você não está confiando apenas no código do computador. Você está confiando na instituição que o usa.

• A confiança vem de saber que, se algo der errado, há um humano responsável.
• A confiança vem de saber que a instituição se prepara para os erros antes que eles aconteçam.
• A confiança vem da transparência: "Nós sabemos que o sistema é frágil, mas aqui está como estamos protegendo você".

Em suma, para que a Inteligência Artificial na saúde funcione, ela precisa ser gerenciada com cuidado humano, e não apenas instalada como uma ferramenta mágica. A segurança e a honestidade da instituição são o que realmente fazem o robô ser confiável.

Resumo técnico

Título: Governando a Confiança na IA em Saúde: Um Estudo Qualitativo das Perspectivas de Profissionais de Cibersegurança

1. Problema e Contexto

A Inteligência Artificial (IA) está cada vez mais integrada à entrega de cuidados de saúde, influenciando desde a interpretação clínica até processos operacionais. No entanto, a credibilidade e a legitimidade da IA na saúde dependem não apenas do desempenho técnico, mas da governança institucional.

• ** lacuna na literatura:** A pesquisa anterior concentrou-se predominantemente em clínicos e pacientes, negligenciando o papel dos profissionais de cibersegurança, que sustentam as infraestruturas digitais que suportam a IA.
• O Desafio: À medida que a dependência digital cresce, as instituições de saúde enfrentam violações de dados e ataques de ransomware que expõem vulnerabilidades sistêmicas. A IA, ao depender de grandes integrações de dados, herda essas fraquezas. Além disso, a confiança na saúde é historicamente moldada por desigualdades e danos estruturais, tornando a expansão tecnológica um campo sensível onde a falta de supervisão pode reproduzir inequidades.
• Questão Central: Como os profissionais de cibersegurança conceptualizam a IA como infraestrutura clínica e como essas interpretações moldam a compreensão de confiança, risco e supervisão?

2. Metodologia

O estudo adotou uma abordagem qualitativa baseada na Teoria de Sistemas Sociotécnicos e na Scholarship de Confiança Institucional.

• Design: Entrevistas semiestruturadas em profundidade.
• Participantes: 20 profissionais de cibersegurança trabalhando em domínios relevantes para saúde, IA, sistemas de dados ou infraestrutura digital.
• Recrutamento: Realizado através de redes profissionais, LinkedIn e amostragem em bola de neve, até atingir a saturação temática.
• Coleta de Dados: Entrevistas realizadas entre maio e agosto de 2025, com duração de 45 a 60 minutos, gravadas e transcritas verbatim.
• Análise: Análise de conteúdo qualitativo com comparação constante. Dois pesquisadores codificaram independentemente os dados usando o software Dedoose, refinando temas através de discussão iterativa e memos reflexivos.
• Perfil dos Participantes: Predominantemente jovens (65% entre 25-34 anos), majoritariamente negros ou afro-americanos (80%), com alto nível de educação (75% com mestrado ou doutorado) e atuação em diversas áreas (segurança de rede, ofensiva/defensiva, ciência de dados, informática em saúde).

3. Principais Contribuições

• Mudança de Perspectiva: Desloca o foco da IA como uma "autoridade autônoma" para a IA como infraestrutura clínica aumentada, dependente de supervisão humana contínua.
• Papel da Cibersegurança: Posiciona a cibersegurança não apenas como uma função técnica de defesa, mas como uma prática de governança institucional fundamental para a construção de confiança.
• Modelo Conceitual: Desenvolveu um modelo que ilustra como a governança institucional, a gestão de riscos e a resposta a incidentes moldam a formação da confiança na IA em saúde (Figura 1.2 no artigo).

4. Resultados (Temas Principais)

A análise revelou quatro padrões interconectados:

• Tema 1: IA como Infraestrutura Clínica Aumentada (não Autoridade Autônoma)

  • Os participantes rejeitaram a ideia de que a IA substitui o julgamento clínico. Em vez disso, a veem como uma ferramenta que estende a capacidade cognitiva e operacional (ex: análise de raios-X, triagem de medicamentos).
  • A confiança na IA é condicional: ela só é válida quando integrada a sistemas guiados por humanos que mantêm a responsabilidade profissional.

• Tema 2: Ecologias de Dados Frágeis Amplificam Vulnerabilidades

  • Os ambientes de dados de saúde são descritos como fragmentados e vulneráveis. A IA intensifica essas fraquezas estruturais.
  • Há preocupações sobre a desidentificação de dados em sistemas heterogêneos e a falta de planos de contingência para violações.
  • As violações são tratadas como eventos antecipados (esperados), não como anomalias raras. A confiança depende menos da eliminação total do risco e mais da capacidade da instituição de conter danos quando ocorrem.

• Tema 3: Confiança Contingente e Limites da Autoridade Algorítmica

  • A confiança na IA é descrita como parcial, contextual e construída ao longo do tempo.
  • Os participantes expressaram ceticismo sobre a confiabilidade da IA em situações complexas ou novas (onde os modelos podem não ter sido treinados), citando riscos de "alucinações", superdiagnóstico e subdiagnóstico.
  • A confiança é relacional e acumulativa, exigindo transparência e consistência, não sendo automática.

• Tema 4: Governança de Riscos Clínicos Induzidos por IA através da Gestão de Cibersegurança

  • Os profissionais de segurança veem seu papel como de gestão institucional, incluindo educação de partes interessadas e "segurança por design".
  • A segurança deve ser integrada desde o início do desenvolvimento do sistema, não adicionada posteriormente.
  • Práticas essenciais incluem testes de penetração contínuos, monitoramento iterativo e camadas de salvaguardas (criptografia, controle de acesso) para minimizar o impacto de falhas.

5. Significado e Implicações

• Credibilidade Institucional: A credibilidade da IA em saúde emerge através de práticas de governança que demonstram responsabilidade e capacidade de gerenciamento de risco ao longo do tempo.
• Interdependência: A confiança na tecnologia está intrinsecamente ligada à confiança na instituição que a hospeda. Em um contexto de histórico de danos e desconfiança médica, a governança da cibersegurança torna-se uma ferramenta vital para reparar e manter a confiança pública.
• Inovação Responsável: O estudo apoia a visão de que a gestão de riscos deve ser embutida no design do sistema (governança antecipatória) em vez de ser uma reação a falhas.
• Recomendação Futura: É necessário pesquisar longitudinalmente como essas práticas de governança são percebidas por pacientes e clínicos, e se elas efetivamente alteram comportamentos de confiança e engajamento.

Conclusão Geral:
O estudo conclui que a IA em saúde não é apenas uma questão de desempenho técnico, mas um desafio de governança institucional. A confiança é construída quando as instituições demonstram, através de práticas robustas de cibersegurança e supervisão humana, que são capazes de gerenciar a vulnerabilidade e responder de forma responsável a incidentes.