Gender bias in AI-based model according to the sex composition of the training sets: the case of a model triaging patients requiring referral to hospital emergencies among those seeking emergency or unscheduled care by phone

Quando uma pessoa pede ajuda de emergência, a primeira decisão é frequentemente tomada por uma voz do outro lado da linha. Este despachante deve decidir rapidamente se o chamador precisa de uma ambulância, de uma visita domiciliar de um médico ou simplesmente de conselhos para esperar. Nos últimos anos, hospitais e serviços de emergência começaram a utilizar inteligência artificial para auxiliar nesta tarefa difícil. Estes programas de computador ouvem a conversa, leem as palavras proferidas e calculam o quão urgente é a situação. A esperança é que as máquinas possam processar informações de forma mais rápida e consistente do que os humanos, especialmente quando o chamador está com dor ou em sofrimento. No entanto, um problema persistente na medicina é que as mulheres frequentemente recebem cuidados diferentes dos homens, por vezes para seu detrimento. Elas podem esperar mais tempo pelo alívio da dor ou ser menos levadas a sério ao descrever sintomas. A questão crítica para a nova era da tecnologia médica é se estes programas de computador irão simplesmente repetir esses velhos erros humanos ou se podem ser construídos para tratar todos de forma justa.

Uma equipa de investigadores em França partiu para investigar exatamente este problema no contexto do despacho médico de emergência. Eles trabalharam com uma grande organização chamada SOS Médecins Grand Paris, que lida com milhares de chamadas diariamente de pessoas que necessitam de ajuda médica no próprio dia. Os investigadores focaram-se num tipo específico de chamada: aquelas em que um médico eventualmente visitou o paciente em casa. No final de cada visita, o médico registava se o paciente era enviado para um serviço de urgência hospitalar ou enviado de volta para casa. Este registo serviu como a verdade fundamental para o estudo, permitindo aos investigadores ver quais as chamadas que realmente exigiam cuidados hospitalares urgentes. Eles recolheram dados de quase dois milhões de chamadas feitas entre 2018 e 2023, correspondendo as gravações de áudio das chamadas iniciais com os registos médicos finais dos pacientes. Após limparem e cruzarem os dados, tinham uma vasta coleção de mais de um milhão de pares de chamadas e resultados com os quais trabalhar.

Os investigadores construíram então três modelos de computador diferentes para ver como a mistura de homens e mulheres nos dados de treino afetava os resultados. Eles não construíram apenas um modelo e o testaram; criaram três versões distintas para isolar o efeito do equilíbrio de género. O primeiro modelo foi treinado apenas com dados de homens. O segundo foi treinado apenas com dados de mulheres. O terceiro foi treinado com uma mistura perfeitamente equilibrada de homens e mulheres, mas com metade do número total de exemplos em comparação com os outros dois. Eles testaram depois cada modelo em novas chamadas não vistas para ver o quão bem conseguiam prever quem precisava de ir para o hospital. O objetivo era ver se um modelo treinado num grupo equilibrado teria um desempenho igual para ambos os sexos, ou se a composição dos dados de treino alteraria a forma como a máquina "via" homens e mulheres.

Os resultados revelaram um quadro surpreendente e complexo sobre como estas máquinas aprendem. O modelo treinado exclusivamente em homens funcionou bem para os homens, mas teve dificuldades significativas quando aplicado a mulheres. Falhou em identificar muitas mulheres que realmente necessitavam de cuidados de emergência, mostrando uma clara lacuna de desempenho. Em contraste, o modelo treinado exclusivamente em mulheres funcionou bem para as mulheres e, talvez de forma surpreendente, funcionou tão bem para os homens. Não pareceu perder precisão quando aplicado à população masculina. O terceiro modelo, que foi treinado numa mistura equilibrada de homens e mulheres, ficou num ponto intermédio. Teve um desempenho melhor para os homens do que para as mulheres, mas a lacuna era menor do que no modelo apenas de homens. Crucialmente, os investigadores descobriram que simplesmente equilibrar os números de homens e mulheres nos dados de treino não era suficiente para garantir a equidade. Mesmo o modelo equilibrado mostrou uma ligeira preferência pelos homens, sugerindo que o problema não é apenas ter números iguais de exemplos, mas sim algo mais profundo na forma como os sintomas e os resultados se relacionam entre si para diferentes sexos.

Para compreender por que razão isto estava a acontecer, os investigadores analisaram de perto as palavras que os modelos consideravam mais importantes ao tomar as suas decisões. Descobriram que a linguagem utilizada para descrever uma emergência carregava pesos diferentes dependendo do modelo. Por exemplo, palavras relacionadas com quedas ou falta de ar eram importantes para ambos os grupos, mas outros termos como "dor" e "abdómen" foram altamente influentes para o modelo feminino, enquanto "sangue" e "tontura" impulsionaram as decisões do modelo masculino. Isto indica que a relação entre o que um paciente diz e se ele precisa de um hospital não é idêntica para homens e mulheres. Os modelos de computador não estavam apenas a falhar em ver exemplos suficientes de mulheres; eles estavam a aprender que os sinais de uma emergência parecem diferentes dependendo do sexo do chamador. Um único modelo tentando aprender de ambos os grupos ao mesmo tempo acaba por fazer um compromisso que favorece os padrões do grupo maioritário, que neste caso pendeu para os homens.

O estudo conclui que corrigir o viés de género na inteligência artificial não é tão simples como garantir que os dados de treino tenham um número igual de homens e mulheres. Embora o equilíbrio dos dados ajude, não resolve automaticamente o problema. Os investigadores sugerem que as diferenças entre a forma como homens e mulheres experienciam e descrevem a doença são estruturais e fundamentais. Devido a isto, um modelo construído especificamente para mulheres parece ser robusto o suficiente para lidar com homens, mas um modelo construído para homens não se traduz bem para as mulheres. Esta descoberta desafia a suposição comum de que um algoritmo único e equilibrado pode tratar todos de forma igual. Em vez disso, sugere que a equidade na IA médica pode exigir o reconhecimento destas diferenças profundas desde o início do processo de design, em vez de tentar corrigi-las mais tarde com simples ajustes de dados. O trabalho destaca que, para que estas ferramentas sejam verdadeiramente seguras e eficazes, devem ser construídas com a compreensão de que a experiência humana da doença não é uniforme entre os sexos.