Preference Reasoning under Indeterminacy in Large Language Models
Este artículo sostiene que la indeterminación —derivada de la información incompleta y de la inexistencia de soluciones— es un desafío central para el razonamiento de preferencias en la IA, demostrando que los modelos de lenguaje de gran tamaño de vanguardia fallan sistemáticamente al distinguir entre instancias determinadas e indeterminadas, lo que conduce a un razonamiento mal calibrado.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina un mundo donde la inteligencia artificial actúa como un asistente personal, un mediador para decisiones grupales o un casamentero para sistemas complejos. En estos roles, la máquina debe comprender lo que las personas desean, a menudo cuando esos deseos son vagos, incompletos o incluso contradictorios. Debe decidir no solo cuál es la mejor opción, sino también cuándo una mejor opción simplemente no puede encontrarse. Este es el reino del razonamiento de preferencias, un campo donde las computadoras aprenden a navegar los deseos humanos. Durante años, los investigadores han probado estos sistemas utilizando acertijos con respuestas claras y únicas, de forma muy similar a un examen de matemáticas donde cada problema tiene una solución esperando ser encontrada. Pero la vida real rara vez es tan ordenada. En el mundo real, la información suele estar incompleta, o las reglas de la situación hacen que sea imposible construir una solución. La pregunta que enfrentan los científicos hoy en día es si nuestra IA más avanzada puede distinguir entre un problema que necesita ser resuelto y un problema que no tiene respuesta alguna.
Un equipo de investigadores de la Universidad Estatal de Pensilvania se propuso probar precisamente esta capacidad. Construyeron una serie de desafíos basados en problemas económicos clásicos, como asignar casas a personas o emparejar parejas en un mercado. En estos escenarios, cada persona tiene una lista de lo que prefiere. Los investigadores crearon miles de estos escenarios, que iban desde listas simples de diez elementos hasta redes complejas que involucraban a cientos de agentes. Diseñaron las pruebas para incluir dos tipos de incertidumbre. El primer tipo ocurre cuando la información proporcionada es simplemente incompleta, como una persona que enumera solo la mitad de sus comidas favoritas. El segundo tipo ocurre cuando la estructura del problema en sí mismo hace que una solución sea imposible, como un conjunto de preferencias donde nunca puede existir un arreglo justo sin que alguien esté insatisfecho. Luego, los investigadores pidieron a cuatro de los modelos de lenguaje más potentes disponibles actualmente que resolvieran estos acertijos. Querían ver si las máquinas podían identificar correctamente cuándo una pregunta era irresoluble y, si era así, admitir que no lo sabían, en lugar de adivinar.
Los resultados revelaron un punto ciego significativo en la forma en que estos sistemas piensan. Cuando se enfrentaban a un problema que tenía una respuesta clara, los modelos funcionaban bien, acertando a menudo en los detalles. Sin embargo, cuando la información era incompleta o la solución era imposible, los modelos fallaban consistentemente al reconocer el callejón sin salida. En lugar de decir "no puedo determinar esto", inventaban respuestas con total confianza. Lo hacían haciendo suposiciones silenciosas para llenar los vacíos de información. Por ejemplo, si la lista de preferencias de una persona se quedaba corta, los modelos asumían que los elementos faltantes estaban clasificados en orden alfabético o según alguna otra regla arbitraria, y luego procedían a dar una respuesta definitiva basada en esa suposición. En los casos donde no existía una solución, los modelos a menudo generaban una solución falsa de todos modos, o afirmaban que existía una solución cuando no era así. Este comportamiento no fue un error aleatorio; fue un patrón sistemático. Los modelos parecían incapaces de distinguir entre una situación en la que necesitaban pensar más profundamente y una situación en la que pensar más profundamente no ayudaría porque la respuesta simplemente no existía.
Los investigadores también probaron si darles a los modelos una forma de decir "no lo sé" solucionaría el problema. Añadieron una opción específica para que los modelos la eligieran cuando sintieran que la información era insuficiente. Si bien esto ayudó a los modelos a admitir la incertidumbre en algunos casos, creó un nuevo problema. Los modelos comenzaron a abusar de esta opción, declarando que no existía una solución incluso cuando una era perfectamente posible. Era como si los modelos hubieran pasado de un extremo de confianza ciega a otro de cautela excesiva, incapaces de encontrar el punto medio. Incluso cuando los investigadores permitieron que los modelos escribieran código de computadora para resolver los problemas —un método que usualmente mejora la precisión—, los modelos tuvieron dificultades. Podían resolver versiones pequeñas y simples de los problemas comprobando cada posibilidad, pero a medida que los problemas crecían, volvían a adivinar o a rendirse, incapaces de escalar su razonamiento al tamaño de las aplicaciones del mundo real.
Quizás el hallazgo más revelador provino de una prueba en la que no se les pidió a los modelos crear una solución, sino simplemente elegir la correcta de una lista de opciones. Incluso en esta tarea más sencilla, donde los modelos solo tenían que verificar una respuesta en lugar de construir una, frecuentemente elegían la opción incorrecta. A menudo seleccionaban una solución que parecía plausible pero que no cumplía con las estrictas reglas del problema. El estudio mostró que estos modelos tienen una tendencia profunda a priorizar el parecer útiles y decisivos por encima de ser precisos sobre lo que es posible. Están entrenados para completar patrones y generar texto que parezca correcto, lo que los hace excelentes para llenar huecos en una historia, pero deficientes para reconocer cuándo una historia no tiene final.
Esta investigación sugiere que, a medida que integramos estos sistemas en roles de toma de decisiones críticas, debemos ser cuidadosos con lo que esperamos de ellos. La capacidad de reconocer cuándo una pregunta no puede ser respondida es tan importante como la capacidad de responder una. Actualmente, los modelos más avanzados aún no están equipados para distinguir de manera confiable esa diferencia. Es probable que continúen ofreciendo respuestas seguras y de apariencia plausible, incluso cuando los datos falten o las reglas hagan que una solución sea imposible. Hasta que esto cambie, confiar en estos sistemas para decisiones de alto riesgo que involucren preferencias humanas requiere de un humano en el proceso para verificar no solo la respuesta, sino la posibilidad misma de la respuesta. El estudio no afirma que estos modelos estén rotos, sino que operan con un tipo de lógica diferente a la de los humanos, una que lucha por aceptar los límites de lo que se puede conocer.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.