Discrimination transfers but calibration does not:1prevalence-dominated miscalibration of diabetic2retinopathy screening across fundus cameras

Imagine que você está ensinando um robô a identificar um tipo específico de nuvem no céu. Você mostra a ele milhares de fotos tiradas de uma estação meteorológica de alta tecnologia com uma lente perfeita. O robô aprende a dizer: "Essa é uma nuvem de tempestade!" com grande confiança. Mas aqui está a parte complicada: ser capaz de identificar a nuvem é diferente de saber quão provável é que chova. Se o robô diz: "Tenho 90% de certeza de que esta é uma tempestade", ele precisa estar certo 90% das vezes. Se ele estiver errado, e você confiar demais nele, poderá esquecer seu guarda-chuva em um dia chuvoso, ou poderá carregar um quando o céu estiver perfeitamente limpo.

Este artigo mergulha em um mundo onde computadores ajudam médicos a encontrar doenças oculares chamadas retinopatia diabética. Ele faz uma pergunta muito prática: se treinarmos um computador com fotos tiradas com câmeras grandes e caras em um hospital, ele ainda será confiável quando o levarmos para uma aldeia e usarmos uma câmera pequena e portátil? A resposta não é apenas sobre se o computador consegue ver a doença (o que ele consegue), mas se a sua confiança faz sentido no novo ambiente. Os pesquisadores descobriram que, embora os olhos do computador permaneçam aguçados, seu "pressentimento" sobre o quão seguro ele está fica completamente bagunçado, principalmente porque a doença é mais comum no novo lugar do que no antigo.

---

A História do Robô Médico de Olhos Confusos

Imagine que você tem um robô médico oftalmologista brilhante chamado "Dr. IA". Você treinou o Dr. IA em um hospital luxuoso e com clima controlado, usando uma câmera de mesa gigante e cara. O Dr. IA aprendeu a olhar para fotos de olhos e identificar uma doença chamada retinopatia diabética. Quando o Dr. IA vê um olho doente, ele dá uma pontuação: "Tenho 95% de certeza de que está doente!". Quando vê um olho saudável, ele diz: "Tenho 99% de certeza de que está bem".

Agora, você quer levar o Dr. IA para uma aldeia remota para ajudar pessoas que não têm acesso a grandes hospitais. Mas na aldeia, você não pode carregar a câmera gigante. Você tem que usar uma câmera pequena e portátil que caiba em uma mochila. As fotos dessa câmera pequena parecem um pouco diferentes — elas podem ser mais claras, mais escuras ou levemente borradas em comparação com as fotos do hospital.

A Grande Pergunta: Quando o Dr. IA olhar para essas novas fotos da aldeia, ele ainda será um bom médico?

Os pesquisadores deste artigo colocaram o Dr. IA à prova. Eles descobriram duas coisas muito diferentes:

1. Os Olhos Permaneceram Aguçados (Discriminação): O Dr. IA ainda era excelente em distinguir entre um olho doente e um olho saudável. Mesmo sem qualquer treinamento extra, ele ainda conseguia classificar os olhos doentes com pontuações mais altas do que os saudáveis, quase tão bem quanto um médico treinado especificamente para as fotos da aldeia. Ele não perdeu sua capacidade de ver o problema.
2. A Confiança Ficou Bagunçada (Calibração): Foi aqui que as coisas deram errado. O Dr. IA começou a mentir sobre o quão certo estava. Se ele dizia: "Tenho 90% de certeza de que este olho está doente", ele não estava, de fato, acertando 90% das vezes. Suas pontuações de confiança estavam quebradas. Na aldeia, o robô poderia estar excessivamente confiante sobre olhos saudáveis ou pouco confiante sobre olhos doentes. Isso é perigoso porque os médicos dependem desses números de confiança para decidir quem precisa ver um especialista humano imediatamente.

Por que a Confiança Quebrou?

Você pode pensar: "Ah, a câmera portátil deve ser o problema! As fotos parecem muito diferentes". Os pesquisadores testaram essa ideia e descobriram algo surpreendente.

Eles descobriram que a câmera em si era apenas uma pequena parte do problema (cerca de 20%). O verdadeiro vilão era a multidão.

Pense nisso desta forma: No hospital onde o Dr. IA foi treinado, apenas 1 em cada 20 pessoas tinha a doença (5,7%). Mas na aldeia, 1 em cada 6 pessoas a tinha (17,6%). Em outro grupo de teste, quase metade das pessoas a tinha (40,6%).

O Dr. IA foi treinado em um mundo onde a doença era rara. Ele aprendeu a ser muito cauteloso. Quando se mudou para uma aldeia onde a doença era comum, ele não soube como ajustar seu "pressentimento". É como um meteorologista que cresceu no deserto. Se ele se mudar para uma floresta tropical e disser: "Há apenas 10% de chance de chuva", ele estará errado, não porque seus olhos sejam ruins, mas porque ele está acostumado a um mundo onde a chuva é rara. Os pesquisadores mostraram que cerca de 80% da confusão veio dessa mudança na frequência da doença, e não da câmera que tirou a foto.

Como Consertar o Robô

Então, como consertamos a confiança quebrada do Dr. IA? Os pesquisadores tentaram alguns truques:

• O Truque da "Temperatura": Eles tentaram um ajuste matemático simples chamado "escalonamento de temperatura" (temperature scaling). Isso é como girar um botão para tornar as respostas do robô um pouco mais suaves ou mais fortes. Não funcionou bem porque o problema do robô não era apenas sobre o quão "suaves" eram suas respostas; ele precisava mudar todo o seu ponto de partida porque a doença era mais comum.
• O Conserto do "Re-treinamento": Eles tentaram outros dois métodos chamados escalonamento de Platt (Platt scaling) e escalonamento isotônico (isotonic scaling). Estes são como dar ao robô uma lição rápida e pequena. Eles mostraram ao robô apenas 100 a 200 novas fotos da aldeia (rotuladas por humanos) e pediram que ele ajustasse seus números de confiança.
  • O Resultado: Funcionou! Com apenas um pouco de novos dados, a confiança do Dr. IA tornou-se confiável novamente. Ele passou de estar totalmente errado para ser quase tão bom quanto um robô treinado do zero para as fotos da aldeia.

O Problema do "Cérebro Pequeno"

Houve mais uma reviravolta. Para rodar o Dr. IA em um dispositivo portátil e barato, muitas vezes é necessário encolher o programa de computador para que ele caiba. Isso é chamado de "quantização".

• Meia Precisão (FP16): Isso é como comprimir levemente uma foto. Tornou o programa menor, mas não prejudicou os olhos ou a confiança do Dr. IA. Foi seguro.
• Inteiro de 8 Bits (INT8): Isso é como comprimir tanto a foto que ela fica pixelada. Os pesquisadores descobriram que isso quebrou tanto os olhos quanto a confiança do Dr. IA. Mesmo que tentassem consertar a confiança com o truque do "Re-treinamento", não conseguiam consertar totalmente o dano aos olhos. O robô tornou-se menos preciso, e nenhum cálculo rápido poderia recuperar o dano causado.

A Lição Principal

A principal lição deste estudo é que, para a IA ser segura no mundo real, não podemos apenas observar se ela consegue identificar a doença. Temos que verificar se sua confiança faz sentido no novo lugar.

Se você estiver levando uma IA médica de um hospital rico para uma aldeia pobre, não assuma apenas que ela funcionará porque é inteligente. A doença pode ser mais comum lá, e isso confundirá a confiança do robô. Mas a boa notícia é que você não precisa de um milhão de novas fotos para consertar isso. Você só precisa de uma lição pequena e barata (cerca de 100 a 200 exemplos) e o truque matemático certo para ensinar o robô a confiar novamente em seus próprios sentimentos. E se você estiver diminuindo o programa para caber em um dispositivo minúsculo, cuidado: encolhê-lo demais pode quebrar o robô de maneiras que você não consegue consertar facilmente.