Distributions In, Distributions Out: The Case for Soft-Label Training

El arte de saber lo que no sabes

Imagina que estás intentando enseñarle a un robot cómo ver el mundo. Le muestras la imagen de una forma borrosa y le preguntas: "¿Es eso un gato o un perro?". Si le preguntas a diez personas diferentes, podrías obtener seis votos por "gato" y cuatro por "perro". En el mundo de la inteligencia artificial, este es un problema clásico: ¿cómo enseñamos a una máquina a entender que el mundo no siempre es blanco o negro?

Durante mucho tiempo, la forma estándar de entrenar estas máquinas ha sido forzar una única respuesta. Tomamos esos diez votos humanos, los contamos y le decimos al robot: "La respuesta es Gato". Desechamos los cuatro votos de "perro" y pretendemos que la imagen nunca fue ambigua. Esto funciona de maravilla para cosas claras, como identificar una señal de alto roja. Pero esto se desmorona cuando los propios humanos no se ponen de acuerdo. Si un humano mira una imagen complicada y se siente inseguro, pero el robot está obligado a decir "100% Gato", el robot está mintiendo sobre su propia confianza. Es como un meteorólogo que sabe que hay un 50% de probabilidad de lluvia pero insiste en: "Definitivamente lloverá", solo para ajustarse a un pronóstico simple.

Este artículo se sumerge en un rincón específico del aprendizaje automático llamado clasificación supervisada. En términos sencillos, esto es cuando enseñamos a las computadoras a clasificar cosas en categorías (como texto "educado" frente a "grosero", o fotos de "gatos" frente a "perros") mostrándoles ejemplos con etiquetas. La gran pregunta que se plantean los autores es: Cuando los humanos no están de acuerdo con una etiqueta, ¿deberíamos obligar a la computadora a elegir un único ganador, o deberíamos dejar que aprenda de la incertidumbre de toda la multitud? Los autores argumentan que forzar una única respuesta desecha información valiosa sobre cómo funciona el mundo en realidad.

El caso de las etiquetas suaves: Dejar que la multitud hable

Los autores de este artículo, Agamdeep Singh y sus colegas de Microsoft, decidieron probar un enfoque diferente. En lugar de colapsar las opiniones de un grupo de humanos en una sola etiqueta "dura" (como un único "Gato"), intentaron entrenar a la IA utilizando la distribución completa de las respuestas. A esto lo llaman entrenamiento con etiquetas suaves (soft-label training).

Piénsalo de esta manera:

• El entrenamiento con etiquetas duras es como un profesor que toma la votación de una clase sobre una pregunta difícil, ve que el 60% de los estudiantes piensan que la respuesta es "A" y el 40% piensa que es "B", y luego escribe "A" en la pizarra. El profesor le dice al estudiante: "La respuesta es A. Memorízala". El estudiante aprende a estar 100% seguro de "A", a pesar de que la clase estaba dividida.
• El entrenamiento con etiquetas suaves es como un profesor que escribe en la pizarra: "El 60% de nosotros piensa que es A, el 40% piensa que es B". El profesor le dice al estudiante: "La respuesta es una mezcla. Ten un 60% de seguridad de que es A y un 40% de que es B". El estudiante aprende a reflejar la confusión real de la sala.

El artículo pone a prueba esta idea en tres conjuntos de datos diferentes: uno para entender la lógica del texto (ChaosNLI), uno para juzgar la cortesía en el texto (POPQUORN) y uno para identificar objetos en fotos (CIFAR-10H). En todos estos casos, los datos eran desordenados, con humanos que genuinamente discrepaban sobre cuál era la respuesta correcta.

Lo que encontraron: La incertidumbre es una característica, no un error

Los resultados fueron sorprendentemente claros. Cuando los investigadores compararon los modelos "Duros" (aquellos enseñados con respuestas únicas) frente a los modelos "Suaves" (aquellos enseñados con la distribución completa de la multitud), los modelos Suaves ganaron en casi todos los aspectos que importan para entender la incertidumbre humana.

1. Son mejores para igualar la confusión humana.
La medida más importante fue qué tan cerca estaba la suposición de la computadora de la distribución real de los votos humanos. Los autores utilizaron una herramienta matemática llamada divergencia KL para medir esto. Un número más bajo significa que la computadora está más cerca de la realidad humana. Los modelos de etiquetas suaves redujeron este error en un promedio del 32% en todos los conjuntos de datos. En palabras sencillas: los modelos suaves fueron mucho mejores para decir: "No estoy totalmente seguro, y así es exactamente lo inseguro que estoy", coincidiendo con la forma en que los humanos se sintieron realmente respecto a los datos.

2. No pierden precisión.
Un temor común es que si le enseñas a una computadora a estar insegura, podría volverse peor obteniendo la respuesta "correcta". El artículo muestra que esto no es cierto. En el conjunto de datos de cortesía (POPQUORN) y en el conjunto de datos de imágenes (CIFAR-10H), los modelos de etiquetas suaves fueron tan precisos como los modelos de etiquetas duras. En el conjunto de datos de lógica (ChaosNLI), los modelos de etiquetas suaves fueron, de hecho, más precisos (55.30% frente a 51.75%). Así que ser honesto sobre la incertidumbre no los hizo más tontos; los hizo más inteligentes.

3. Saben cuándo estar inseguros.
Este es quizás el hallazgo más interesante. Los investigadores observaron cómo cambiaba la "incertidumbre" de la computadora (medida por la entropía) de una muestra a otra. Descubrieron que, para los modelos de etiquetas suaves, la incertidumbre de la computadora seguía la incertidumbre humana un 61% más fuertmente que los modelos de etiquetas duras.

• Si los humanos estaban confundidos sobre una foto específica, el modelo de etiqueta suave también estaba confundido.
• Si los humanos estaban 100% seguros, el modelo de etiqueta suave estaba 100% seguro.
• Los modelos de etiquetas duras, sin embargo, tendían a estar confiadamente equivocados o confiadamente acertados incluso cuando los humanos estaban divididos. No "sentían" la ambigüedad.

Por qué esto es importante

El artículo argumenta que la vieja forma de hacer las cosas —colapsar todo el desacuerdo humano en un único "voto de la mayoría"— es un error. Trata el desacuerdo humano como "ruido" o un error que debe ser corregido. Los autores sugieren que, cuando los expertos discrepan, ese desacuerdo es a menudo la verdad. Refleja el hecho de que algunas cosas en el mundo (como si un chiste es cortés o si un animal borroso es un gato) son genuinamente ambiguas.

Al entrenar con la distribución completa de las respuestas, construimos sistemas de IA que son más honestos. No pretenden saber cosas que no saben. Los autores señalan que esto funciona incluso cuando no tienes un gran número de votos humanos por imagen (tan solo 6 o 7), aunque funciona aún mejor con más (como 100 votos).

Al final, el artículo sugiere que para cualquier tarea que involucre el juicio humano —como la seguridad, la cortesía o la preferencia— deberíamos dejar de forzar a la IA a elegir un único ganador. En su lugar, debemos dejar que aprendan de toda la multitud. Como dicen los autores, para una IA confiable, necesitamos sistemas que sepan lo que no saben. El entrenamiento con etiquetas suaves es una forma de enseñarles exactamente eso.