Discrimination transfers but calibration does not:1prevalence-dominated miscalibration of diabetic2retinopathy screening across fundus cameras

Imagina que le estás enseñando a un robot a detectar un tipo específico de nube en el cielo. Le muestras miles de fotos tomadas desde una estación meteorológica de alta tecnología con una lente perfecta. El robot aprende a decir: "¡Eso es una nube de tormenta!" con gran confianza. Pero aquí está la parte difícil: ser capaz de detectar la nube es diferente a saber qué tan probable es que llueva. Si el robot dice: "Estoy 90% seguro de que esto es una tormenta", necesita tener razón el 90% de las veces. Si se equivoca, y confías demasiado en él, podrías olvidar tu paraguas en un día lluvioso, o podrías llevar uno cuando el cielo está perfectamente despejado.

Este artículo se adentra en un mundo donde las computadoras ayudan a los médicos a encontrar enfermedades oculares llamadas retinopatía diabética. Plantea una pregunta muy práctica: si entrenamos a una computadora con fotos tomadas con cámaras grandes y costosas en un hospital, ¿seguirá siendo confiable cuando la llevemos a un pueblo y usemos una cámara pequeña y portátil? La respuesta no es solo si la computadora puede ver la enfermedad (que puede hacerlo), sino si su confianza tiene sentido en el nuevo entorno. Los investigadores descubrieron que, aunque los ojos de la computadora se mantienen agudos, su "sentimiento interno" sobre qué tan segura está se descontrola por completo, principalmente porque la enfermedad es más común en el nuevo lugar que en el anterior.

---

La historia del robot oftalmólogo confundido

Imagina que tienes un brillante robot oftalmólogo llamado "Dr. IA". Entrenaste al Dr. IA en un hospital lujoso y con clima controlado usando una cámara gigante y costosa de mesa. El Dr. IA aprendió a mirar fotos de ojos y detectar una enfermedad llamada retinopatía diabética. Cuando el Dr. IA ve un ojo enfermo, da una puntuación: "¡Estoy 95% seguro de que está enfermo!". Cuando ve un ojo sano, dice: "Estoy 99% seguro de que está bien".

Ahora, quieres llevar al Dr. IA a un pueblo remoto para ayudar a personas que no tienen acceso a grandes hospitales. Pero en el pueblo, no puedes llevar la cámara gigante. Tienes que usar una cámara pequeña y portátil que quepa en una mochila. Las fotos de esta pequeña cámara se ven un poco diferentes: pueden ser más brillantes, más oscuras o ligeramente borrosas en comparación con las fotos del hospital.

La Gran Pregunta: Cuando el Dr. IA mire estas nuevas fotos del pueblo, ¿seguirá siendo un buen doctor?

Los investigadores en este artículo pusieron al Dr. IA a prueba. Encontraron dos cosas muy diferentes:

1. Los ojos se mantuvieron agudos (Discriminación): El Dr. IA seguía siendo excelente para distinguir entre un ojo enfermo y uno sano. Incluso sin entrenamiento adicional, podía clasificar los ojos enfermos por encima de los sanos casi tan bien como un médico entrenado específicamente para las fotos del pueblo. No perdió su capacidad de ver el problema.
2. La confianza se descontroló (Calibración): Aquí es donde las cosas salieron mal. El Dr. IA empezó a mentir sobre qué tan seguro estaba. Si decía: "Estoy 90% seguro de que este ojo está enfermo", no era realmente acertado el 90% de las veces. Sus puntuaciones de confianza estaban rotas. En el pueblo, el robot podría estar demasiado seguro sobre los ojos sanos o no ser lo suficientemente seguro sobre los enfermos. Esto es peligroso porque los médicos dependen de estos números de confianza para decidir quién necesita ver a un especialista humano de inmediato.

¿Por qué se rompió la confianza?

Podrías pensar: "¡Oh, la cámara portátil debe ser el problema! Las fotos se ven muy diferentes". Los investigadores probaron esta idea y descubrieron algo sorprendente.

Descubrieron que la cámara en sí era solo una pequeña parte del problema (alrededor del 20%). El verdadero villano era la multitud.

Piénsalo de esta manera: En el hospital donde se entrenó el Dr. IA, solo 1 de cada 20 personas tenía la enfermedad (5.7%). Pero en el pueblo, 1 de cada 6 personas la tenía (17.6%). En otro grupo de prueba, casi la mitad de las personas la tenían (40.6%).

El Dr. IA fue entrenado en un mundo donde la enfermedad era rara. Aprendió a ser muy cauteloso. Cuando se mudó a un pueblo donde la enfermedad era común, no supo cómo ajustar su "sentimiento interno". Es como un pronosticador del tiempo que creció en un desierto. Si se muda a una selva tropical y dice: "Solo hay un 10% de probabilidad de lluvia", está equivocado, no porque sus ojos sean malos, sino porque está acostumbrado a un mundo donde la lluvia es rara. Los investigadores demostraron que aproximadamente el 80% de la confusión provino de este cambio en la frecuencia de la enfermedad, no de la cámara que toma la foto.

Cómo arreglar al robot

Entonces, ¿cómo arreglamos la confianza rota del Dr. IA? Los investigadores probaron algunos trucos:

• El truco de la "Temperatura": Probaron un ajuste matemático simple llamado "escalamiento de temperatura" (temperature scaling). Esto es como girar un dial para que las respuestas del robot sean un poco más suaves o más fuertes. No funcionó bien porque el problema del robot no era solo qué tan "suaves" eran sus respuestas; necesitaba cambiar todo su punto de partida porque la enfermedad era más común.
• El arreglo de "Re-entrenamiento": Probaron otros dos métodos llamados escalamiento de Platt e isotónico. Estos son como darle al robot una lección rápida y pequeña. Le mostraron al Dr. IA solo de 100 a 200 fotos nuevas del pueblo (etiquetadas por humanos) y le pidieron que ajustara sus números de confianza.
  • El Resultado: ¡Funcionó! Con solo un poco de datos nuevos, la confianza del Dr. IA volvió a ser confiable. Pasó de estar erráticamente equivocado a ser casi tan bueno como un robot entrenado desde cero con las fotos del pueblo.

El problema del "Cerebro Diminuto"

Hubo un giro más. Para ejecutar al Dr. IA en un dispositivo pequeño y portátil, a menudo tienes que reducir el programa de computadora para que quepa. Esto se llama "cuantización".

• Media Precisión (FP16): Esto es como comprimir una foto ligeramente. Hizo que el programa fuera más pequeño pero no afectó los ojos ni la confianza del Dr. IA. Fue seguro.
• Entero de 8 bits (INT8): Esto es como comprimir la foto tanto que se vuelve pixelada. Los investigadores descubrieron que esto rompió tanto los ojos como la confianza del Dr. IA. Incluso si intentaban arreglar la confianza con el truco de "Re-entrenamiento", no podían reparar completamente el daño a los ojos. El robot se volvió menos preciso, y ningún tipo de matemática rápida podía devolverle su estado original.

La conclusión

La lección principal de este estudio es que, para que la IA sea segura en el mundo real, no podemos limitarnos a observar si puede detectar la enfermedad. Tenemos que verificar si su confianza tiene sentido en el nuevo lugar.

Si vas a llevar una IA médica de un hospital rico a un pueblo pobre, no asumas simplemente que funcionará porque es inteligente. La enfermedad podría ser más común allí, y eso confundirá la confianza del robot. Pero la buena noticia es que no necesitas un millón de fotos nuevas para arreglarlo. Solo necesitas una lección pequeña y barata (unas 100 a 200 muestras) y el truco matemático adecuado para enseñarle al robot cómo volver a confiar en sus propios sentimientos. Y si estás reduciendo el tamaño del programa para que quepa en un dispositivo diminuto, ten cuidado: reducirlo demasiado podría romper al robot de formas que no puedes reparar fácilmente.