On Benchmarking Human-Like Intelligence in Machines
Este artículo sostiene que los paradigmas actuales de evaluación de la IA no logran evaluar con precisión las capacidades cognitivas de tipo humano debido a problemas como etiquetas no validadas y tareas ecológicamente inválidas, y propone cinco recomendaciones concretas para una evaluación comparativa más rigurosa basada en un estudio de evaluación humana de nueve bancos de pruebas existentes.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina que estás intentando enseñarle a un robot cómo ser una persona. No quieres solo que sea súper inteligente en matemáticas o capaz de predecir el clima; quieres que piense, sienta y reaccione de la misma forma que lo haces tú. Este es el mundo de la "inteligencia de tipo humano". Durante décadas, los científicos han estado construyendo estas mentes digitales, con la esperanza de crear máquinas que no solo resuelvan problemas, sino que comprendan la forma desordenada, confusa y, a veces, contradictoria en que los humanos manejan el mundo. Pero aquí está la parte difícil: ¿cómo sabes si el robot realmente está actuando como un humano, o si es solo un muy buen actor fingiendo? Para averiguarlo, los investigadores suelen someter al robot a una prueba. Pero, ¿y si la prueba misma está rota? ¿Qué pasa si la prueba espera que el robot dé una única respuesta perfecta, cuando los humanos reales darían una docena de respuestas diferentes y ligeramente inseguras? Este artículo profundiza en ese problema exacto, argumentando que nuestra forma actual de probar la IA es como juzgar una improvisación de jazz pidiéndole al músico que toque una sola nota perfecta.
Los autores de este artículo, un equipo de investigadores de las mejores universidades, argumentan que actualmente estamos fallando al medir la inteligencia "de tipo humano" correctamente. Sugieren que muchas pruebas de IA populares son demasiado simples y dependen de etiquetas de "verdad absoluta" (ground truth) que en realidad no coinciden con cómo piensan las personas reales. Para demostrar su punto, realizaron un experimento masivo en el que pidieron a 117 humanos reales que realizaran nueve pruebas de IA diferentes. Estas pruebas cubrían aspectos como detectar el sarcasmo, decidir si un chiste es divertido o determinar si una situación social es de apoyo. En lugar de simplemente elegir "A, B o C", los humanos utilizaron controles deslizantes para mostrar qué tan fuerte sentían una respuesta y qué tan seguros estaban de ese sentimiento.
Los resultados fueron reveladores. El artículo sugiere que, para muchas de estas pruebas, la respuesta "correcta" para la cual la IA fue entrenada era en realidad errónea en comparación con lo que la mayoría de los humanos pensaban. Por ejemplo, en una tarea sobre "apoyo social", la prueba decía que una frase específica era "poco de apoyo", pero los humanos la calificaron como moderadamente de apoyo en promedio. Lo que es más interesante, los humanos no solo estaban en desacuerdo con la prueba; también estaban en desacuerdo entre sí de una manera estructurada. Algunos estaban muy seguros de sus respuestas, mientras que otros no lo estaban, y sus opiniones variaban a través de un amplio espectro. El artículo encuentra que los marcos de evaluación actuales de la IA a menudo ignoran este "desorden". Tratan el juicio humano como un problema matemático con una única respuesta correcta, cuando en realidad es más como una conversación donde cada uno tiene una perspectiva ligeramente distinta.
Los autores proponen cinco nuevas reglas para construir mejores pruebas. Primero, debemos dejar de adivinar lo que piensan los humanos y realmente preguntarles, recolectando datos reales de personas para usarlos como el "estándar de oro". Segundo, en lugar de buscar una respuesta correcta, deberíamos comparar la IA con toda la distribución de las respuestas humanas, viendo si la IA puede capturar el hecho de que algunas personas piensan de una manera y otras de otra. Tercero, necesitamos medir la "gradualidad". Los humanos rara vez se sienten 100% seguros o 0% seguros; se sienten "mayormente sí" o "un poco no". El artículo sugiere que deberíamos usar controles deslizantes y calificaciones de confianza para capturar este matiz, en lugar de forzar una elección simple de sí o no. Cuarto, las pruebas deben basarse en teorías psicológicas profundas, no solo en preguntas aleatorias. Que un niño pase una prueba de "falsa creencia" no significa que un robot que pase la misma prueba tenga una verdadera "Teoría de la Mente"; la prueba debe estar diseñada para medir realmente las partes complejas de esa habilidad. Finalmente, las tareas mismas deben parecerse más a la vida real. La vida real es ambigua, confusa y llena de contexto. Si una prueba es demasiado limpia y simple, no nos dice si la IA puede manejar el mundo real.
En resumen, el artículo sugiere que, para construir una IA que realmente piense como nosotros, tenemos que dejar de tratar la inteligencia humana como un examen de opción múltiple. Necesitamos abrazar la incertidumbre, el desacuerdo y las áreas grises. Al diseñar pruebas que reflejen la naturaleza rica, variada y a veces confusa del pensamiento humano, finalmente podremos empezar a construir máquinas que no solo parezcan inteligentes, sino que realmente se sientan humanas.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.