What Can Artificial Intelligence Learn from Medicine? Generative Analogies and Reliable Machine Learning Systems

Nos últimos anos, médicos e cientistas da computação começaram a trabalhar juntos para construir ferramentas de inteligência artificial que possam ajudar a diagnosticar doenças, prever resultados de pacientes e sugerir tratamentos. Essas ferramentas, conhecidas como sistemas de aprendizado de máquina, são poderosas porque podem encontrar padrões em quantidades massivas de dados que os seres humanos poderiam perder. No entanto, existe um problema persistente: esses sistemas frequentemente funcionam como caixas pretas. Eles produzem resultados sem explicar como chegaram a eles e baseiam-se em conexões estatísticas em vez de teorias claras sobre por que um tratamento funciona. Isso cria um dilema para os médicos que precisam confiar nas ferramentas que utilizam. Se um computador diz que um paciente tem uma doença, mas ninguém entende por que ele disse isso, como pode um médico ter certeza de que está correto? Essa incerteza levou a uma questão difícil: como verificamos se esses sistemas complexos e opacos são confiáveis o suficiente para serem usados em hospitais reais?

Dois filósofos, Emanuele Ratti e Lena Zuchowski, propuseram uma nova maneira de pensar sobre este problema, observando como a própria medicina lida com incertezas semelhantes. Eles sugerem que não devemos tentar forçar a inteligência artificial a se tornar transparente ou explicável da maneira que normalmente esperamos. Em vez disso, argumentam que devemos aprender com a longa história de como a medicina valida novos medicamentos. Assim como os médicos nem sempre sabem exatamente como uma pílula específica funciona dentro do corpo, eles ainda sabem que ela é segura e eficaz devido ao processo rigoroso usado para testá-la. Os pesquisadores propõem que o mesmo tipo de processo de teste rigoroso usado para medicamentos pode ser adaptado para criar um novo padrão para confiar na inteligência artificial.

O cerne do argumento deles baseia-se em uma comparação entre dois processos muito diferentes: o desenvolvimento de novos medicamentos e a construção de sistemas de aprendizado de máquina. Na medicina, quando um novo medicamento é descoberto, os cientistas muitas vezes não compreendem totalmente o mecanismo biológico por trás dele. Eles podem não saber exatamente como a molécula interage com as células do corpo. Apesar dessa falta de conhecimento teórico, o medicamento ainda pode ser provado eficaz. Isso é alcançado através de um processo chamado tradução clínica, onde pesquisadores testam sistematicamente o medicamento sob muitas condições diferentes. Eles determinam a dosagem correta, os tipos específicos de pacientes que ele ajuda e as situações em que ele pode falhar. Ao reunir essas informações, eles criam um perfil detalhado da utilidade do medicamento, mesmo que o "porquê" subjacente permaneça um mistério.

Ratti e Zuchowski argumentam que os sistemas de aprendizado de máquina enfrentam exatamente a mesma situação. Esses sistemas são frequentemente "ateóricos", o que significa que não dependem de teorias feitas por humanos; são "associacionistas", o que significa que encontram ligações entre pontos de dados sem entender a causa; e são "opacos", o que significa que sua tomada de decisão interna é oculta. Por causa disso, tentar fazer a IA se explicar é frequentemente impossível. Em vez de lutar contra essa natureza, os autores sugerem que devemos copiar a abordagem médica. Devemos parar de exigir que a IA explique sua lógica e começar a exigir que saibamos as condições específicas sob as quais ela funciona.

Para tornar essa ideia concreta, os pesquisadores desenvolveram um novo framework que chamam de "ensemble de aprendizagem" (learning ensemble). Pense nisso como um manual de instruções detalhado que vai muito além de apenas dizer "este programa de computador funciona". Na medicina, um medicamento não é apenas um produto químico; é um produto químico usado de uma forma específica, para um grupo específico de pessoas, com efeitos colaterais específicos. Da mesma forma, um sistema de aprendizado de máquina não é apenas um pedaço de código; é um sistema que funciona apenas quando certas condições são atendidas. O ensemble de aprendizagem é uma coleção de informações que define essas condições. Inclui detalhes sobre os dados usados para treinar o sistema, o hardware específico em que ele roda, os tipos de pacientes nos quais foi testado e as métricas exatas usadas para julgar seu sucesso.

Os autores dividem essa informação em três categorias principais. A primeira é os "limites de confiabilidade". Esta seção documenta o ambiente no qual o sistema foi construído. Ela faz perguntas como: Os dados eram limpos e diversos, ou eram desorganizados e limitados? O sistema foi testado em computadores potentes ou teve dificuldades com hardware básico? Se os dados vieram de apenas um hospital, o sistema pode falhar ao ser usado em um hospital diferente com equipamentos diferentes. Ao documentar esses limites, os usuários podem saber exatamente onde o sistema é seguro para usar e onde ele pode falhar.

A segunda categoria é o "desempenho". Isto não é apenas um número único dizendo que o sistema tem 90% de precisão. Em vez disso, exige um relatório detalhado de como o sistema performa em diferentes situações. Por exemplo, ele funciona igualmente bem para pacientes jovens e idosos, ou para pessoas de diferentes gêneros? Ele comete mais erros quando os dados são ligeiramente diferentes daqueles para os quais foi treinado? Os pesquisadores enfatizam que saber onde um sistema falha é tão importante quanto saber onde ele tem sucesso. Se um sistema é ótimo para diagnosticar um tipo de câncer, mas terrível para outro, esse erro específico deve ser registrado para que os médicos não o utilizem para os casos errados.

A terceira categoria é a "dimensão funcional". Esta observa o que o sistema realmente deve fazer no mundo real. Um sistema pode ser matematicamente perfeito ao prever um número, mas se esse número não ajudar um médico a tomar uma decisão melhor, o sistema é inútil. Esta parte verifica se a saída do sistema corresponde às necessidades da equipe médica. Por exemplo, se um sistema é projetado para ajudar um médico a decidir se interna um paciente no hospital, ele deve ser testado para ver se realmente ajuda com essa decisão específica. Se o sistema for usado para um propósito para o qual não foi projetado, ele se torna não confiável, independentemente de quão bem ele desempenhe sua tarefa original.

Os pesquisadores ilustram o poder desta abordagem com exemplos reais de falhas. Eles apontam para um estudo onde um sistema de inteligência artificial alegava detectar câncer ao observar a composição genética de bactérias no corpo humano. O sistema parecia funcionar perfeitamente no início, com uma precisão muito alta. No entanto, quando os pesquisadores olharam de perto os dados, descobriram que o sistema não tinha aprendido nada sobre o câncer. Ele tinha aprendido a reconhecer um tipo específico de erro no processo de coleta de dados que era mais comum em pacientes com câncer. Como o sistema era opaco, esse erro estava oculto. Se os pesquisadores tivessem usado o framework do "ensemble de aprendizagem", eles teriam sido obrigados a documentar as fontes de dados e as condições específicas do teste. Essa documentação teria revelado que os dados eram falhos e que o sistema estava dependendo de um atalho em vez de uma conexão biológica real.

Outro exemplo envolve um sistema projetado para prever quais pacientes com pneumonia tinham alto risco de morrer. O sistema aprendeu que pacientes com asma tinham, na verdade, um risco menor. Isso parecia contraintuitivo. A razão era que o sistema aprendeu que pacientes com asma recebiam um tratamento muito agressivo e eficaz no hospital, o que reduzia seu risco de morte. No entanto, se um médico usasse este sistema para decidir quem tratar, ele poderia erroneamente pensar que pacientes com asma não precisavam de cuidados. O sistema era matematicamente correto com base nos dados, mas era funcionalmente perigoso porque não entendia o contexto do tratamento médico. O framework do ensemble de aprendizagem teria detectado isso ao exigir uma definição clara do propósito do sistema e uma verificação contra o conhecimento médico real.

Os autores ressaltam cuidadosamente que este framework não resolve o mistério de como o aprendizado de máquina funciona. Os sistemas continuarão sendo opacos e continuarão a depender de padrões estatísticos em vez de teorias claras. O valor do ensemble de aprendizagem não está em tornar a IA transparente, mas em tornar o uso da IA transparente. Isso desloca o foco de perguntar "Como o computador pensa?" para perguntar "Sob quais condições exatas podemos confiar na resposta do computador?". É uma mudança sutil, mas crucial. Permite que os médicos utilizem ferramentas poderosas sem precisar entender a matemática complexa por trás delas, desde que tenham um mapa claro de onde essas ferramentas são seguras para usar.

Esta abordagem sugere uma nova maneira de regular e avaliar a inteligência artificial na medicina. Em vez de exigir que cada algoritmo seja explicável, reguladores e hospitais devem exigir um "ensemble de aprendizagem" completo para cada sistema. Este documento atuaria como um certificado de confiabilidade, detalhando os dados, o desempenho e o uso pretendido. Se um hospital quiser usar um sistema, ele pode verificar o ensemble para ver se sua situação específica corresponde às condições onde o sistema foi comprovadamente eficaz. Se as condições não coincidirem, o sistema não deve ser utilizado. Este método aceita as limitações da tecnologia atual, ao mesmo tempo em que fornece uma maneira robusta de gerenciar os riscos.

O artigo conclui que este framework é um passo prático à frente. Não afirma ter resolvido todos os problemas da inteligência artificial, nem promete que esses sistemas nunca cometerão erros. Em vez disso, oferece uma maneira estruturada de construir confiança. Ao tratar os sistemas de aprendizado de máquina como tratamentos médicos — onde o foco está nas condições de uso e não no mecanismo interno — podemos criar um caminho mais seguro e confiável para a integração dessas tecnologias na saúde. O objetivo não é tornar a caixa preta transparente, mas construir um guia confiável que nos diga exatamente onde é seguro olhar dentro dela.