Robust Ambiguity Detection (RAD) From Model- and Feature-Space Consistency

Imagina que eres un juez en un tribunal de alto riesgo, pero en lugar de un solo juez, tienes un panel de diez expertos. Todos ellos son igualmente brillantes, han estudiado exactamente los mismos expedios del caso y han aprobado los mismos exámenes rigurosos. Normalmente, todos coinciden en el veredicto. Pero a veces, no lo hacen. Tal vez cinco dicen "Culpable" y cinco dicen "No Culpable". Eso es confuso, pero al menos sabes que existe el desacuerdo.

Ahora, imagina un escenario más complicado. Los diez expertos coinciden en el veredicto para un acusado específico. Pero, si cambias un solo detalle minúsculo de la historia —como decir que el acusado llegó un segundo más tarde, o que llevaba un sombrero ligeramente diferente—, todo el panel cambia repentinamente su voto al lado opuesto. O, imagina dos acusados que son casi gemelos idénticos, pero uno recibe un veredicto de "Culpable" mientras que el otro recibe uno de "No Culpable" solo porque la línea de decisión entre ellos se trazó de una manera tambaleante e incierta. En el mundo del aprendizaje automático, donde las computadoras toman decisiones sobre préstamos, diagnósticos médicos o admisiones universitarias, estas predicciones "tambaleantes" son peligrosas. Se llaman ambigüedad. Si un modelo de computadora no puede mantener su postura cuando las cosas cambian ligeramente, o si no está de acuerdo con sus modelos gemelos, no podemos confiar en él. Este artículo trata sobre la construcción de una mejor manera de detectar esas predicciones temblorosas e poco fiables antes de que causen problemas en el mundo real.

---

El detector "RAD": Capturando predicciones tambaleantes

Los autores de este artículo, Manya Singh, Mark T. Keane y Arjun Pakrashi de la University College Dublin, han construido una nueva herramienta llamada RAD (Robust Ambiguity Detection - Detección de Ambigüedad Robusta). Piensa en RAD como una máquina de pruebas de estrés para las predicciones de la IA. En lugar de solo preguntar "¿Qué piensa la IA?", RAD pregunta: "¿Qué piensa la IA si movemos un poco la entrada? Y ¿qué piensan sus modelos gemelos?".

Para entender cómo funciona RAD, usemos la analogía de un portero de un club.

La configuración: Un panel de porteros

Imagina un club con una política de entrada muy estricta. Para asegurar que la política sea justa, el club contrata a 10 porteros diferentes (estos son los modelos equivalentes). Todos han sido entrenados con las mismas reglas y son igualmente buenos en su trabajo.

• La Entrada: Una persona intentando entrar (el punto de datos).
• La Perturbación: Se les pide a los porteros que imaginen cambios leves en la apariencia de la persona. Tal vez imaginan que la persona lleva un sombrero diferente, o que está parada una pulgada a la izquierda (estas son las perturbaciones locales).

La "Matriz de Ambigüedad": La hoja de puntuación

RAD crea una gran hoja de puntuación (llamada matriz de ambigüedad) para rastrear qué sucede.

• Filas: Los 10 porteros.
• Columnas: La persona original más todas las versiones "imaginadas" de ella (los vecinos).
• Las Celdas: ¿Dijo cada portero "Sí" o "No" para cada versión?

Si los porteros están diciendo "Sí" para la persona original y también para todas las versiones ligeramente cambiadas, la predicción es Robusta. Es sólida. Pero si los porteros empiezan a discutir entre sí, o si cambian de opinión solo porque la persona movió el pie, eso es Ambigüedad.

El Gráfico RAD: Las cuatro esquinas de la confusión

El artículo convierte esta hoja de puntuación en un gráfico simple llamado Gráfico RAD. Imagina un cuadrado dividido en cuatro esquinas. El lugar donde cae una predicción te dice exactamente por qué es inestable:

1. Esquina Superior Derecha (La esquina "Sólida como una roca"): Todos los porteros están de acuerdo, y están de acuerdo incluso cuando la persona se mueve. Esta es una predicción Robusta. Puedes confiar en ella.
2. Esquina Superior Izquierda (La esquina de los "Porteros que discuten"): Los porteros se mantienen consistentes consigo mismos (si dicen "Sí" al sombrero, dicen "Sí" al no llevar sombrero), pero no están de acuerdo entre sí. Un portero piensa que las reglas dicen "Sí", otro piensa "No". Esto es Ambigüedad del Espacio del Modelo. El problema no es la persona; es que los porteros han aprendido versiones diferentes de las reglas.
3. Esquina Inferior Derecha (La esquina de los "Porteros tambaleantes"): Todos los porteros están generalmente de acuerdo entre sí, pero todos están confundidos por los ligeros movimientos de la persona. Si la persona se mueve una pulgada, cambian de "Sí" a "No". Esto es Ambigüedad del Espacio de Características. La persona está justo en el borde de la línea de decisión, y las reglas son demasiado sensibles.
4. Esquina Inferior Izquierda (La esquina del "Caos Total"): Los porteros no están de acuerdo entre sí, y además ni siquiera pueden ponerse de acuerdo consigo mismos cuando la persona se mueve. Este es el tipo más grave de ambigüedad. La predicción es poco fiable por todas las razones.

¿Qué encontraron?

Los autores probaron RAD en dos tipos de datos:

1. Datos Falsos (Sintéticos): Crearon mundos generados por computadora donde podían controlar exactamente cuánto se solapaban los grupos de "Sí" y "No". Descubrieron que a medida que los grupos se mezclaban más, las predicciones se alejaban de la esquina "Sólida como una roca" y se movían hacia las esquinas "Tambaleante" o "Caos". Esto demostró que RAD realmente puede detectar cuándo las cosas se están volviendo desordenadas.
2. Datos del Mundo Real: Utilizaron conjuntos de datos reales (como incumplimientos de tarjetas de crédito, riesgos de enfermedades cardíacas e incluso dígitos escritos a mano del conjunto de datos MNIST). Dado que no puedes "ver" las líneas de decisión en estos conjuntos de datos complejos, RAD actuó como una radiografía, mostrando qué predicciones eran probablemente inestables.

La Gran Recompensa: Saber cuándo decir "No lo sé"

La parte más emocionante del artículo es una aplicación práctica llamada Abstención. En situaciones de alto riesgo (como admitir a un estudiante en la universidad o diagnosticar una enfermedad), es mejor decir "No estoy seguro, un humano debería revisar esto" que adivinar erróneamente.

Los autores usaron RAD para clasificar las predicciones. Descubrieron que si simplemente se negaban a realizar una predicción para las muestras que caían en las esquinas "Tambaleante" o "Caos" (las que tenían el Rango de Pareto de RAD más bajo), la precisión de las predicciones restantes aumentaba significamente. En otras palabras, al usar RAD para filtrar los casos confusos, la IA se volvió mucho más fiable en los casos que sí respondía.

Lo que RAD NO es

Es importante notar lo que este artículo no hace. No afirma que arregla la IA o hace que los porteros se pongan de acuerdo. No dice que toda la IA esté rota. En cambio, proporciona una herramienta de diagnóstico. Te dice dónde está el problema:

• ¿Es el problema que los modelos son demasiado diferentes? (Entonces podrías necesitar entrenarlos mejor o combinarlos).
• ¿Es el problema que los datos son demasiado desordenados o la línea de decisión es demasiado afilada? (Entonces podrías necesitar mejores datos o una forma diferente de definir las reglas).

El artículo sugiere que al observar tanto el Espacio del Modelo (¿están de acuerdo los modelos?) como el Espacio de Características (¿son estables los datos?), obtenemos una imagen de la confianza mucho más clara que mirando solo uno de ellos. Es una forma de dejar de confiar ciegamente en una computadora que podría estar adivinando, y empezar a hacer las preguntas correctas cuando la respuesta no está clara.