Before Reading a "Neither" or a "Both": Calibrating Bilateral Probes of Paracomplete and Paraconsistent Behaviour in Language Models
Este artículo propone un protocolo de calibración para distinguir el razonamiento paracompleto o paraconsistente genuino en los modelos de lenguaje del ruido aleatorio, encontrando que si bien varios modelos exhiben brechas significativas de valor de verdad en afirmaciones conocidas, solo el comportamiento de un modelo es lo suficientemente fiable como para ser interpretado, revelando que las lecturas no calibradas de la paradoja del mentiroso pueden atribuirse erróneamente al dialeteísmo o a los vacíos kripkeanos.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Para entender cómo piensa un programa de computadora sobre la verdad, primero debemos entender cómo maneja la palabra "no". En el estudio de la inteligencia artificial, los investigadores a menudo piden a un modelo que juzgue una afirmación, como "El cielo es azul". Si el modelo dice "falso", sabemos que cree que el cielo no es azul. Pero, ¿qué pasa si el modelo dice "falso" a la afirmación "El cielo es azul" y también dice "falso" a la afirmación "El cielo no es azul"? Esto crea un rompecabezas lógico. El modelo no está simplemente diciendo que el cielo es de un color diferente; está rechazando tanto la afirmación como su opuesto. En lógica, este estado se llama un "vacío" (gap), lo que sugiere que el modelo ve la afirmación como algo que no tiene valor de verdad en absoluto, quizás porque la pregunta en sí misma está rota. Este método de hacer dos preguntas separadas —una sobre una afirmación y otra sobre su negación— se llama evaluación bilateral. Está diseñado para revelar si una mente artificial puede manejar las contradicciones o si simplemente se confunde por la estructura del lenguaje.
Lo que está en juego con esta pregunta es importante debido a famosos acertijos filosóficos, como la "paradoja del mentiroso", una frase que dice: "Esta frase es falsa". Si la frase es verdadera, entonces debe ser falsa. Si es falsa, entonces debe ser verdadera. Durante décadas, los filósofos han debatido si tales frases son imposibles de resolver, o si son verdaderas y falsas al mismo tiempo. A medida que los sistemas de inteligencia artificial se vuelven más capaces, los investigadores han comenzado a utilizarlos para probar estas antiguas ideas, con la esperanza de ver si las máquinas adoptan naturalmente una de estas posturas lógicas complejas. Sin embargo, un nuevo estudio sugiere que cuando observamos de cerca cómo responden estas máquinas, a menudo estamos viendo un fallo en su capacidad para procesar la palabra "no", en lugar de una profunda visión filosófica.
Maikel Leyva, un investigador de universidades de Chile y Ecuador, se propuso probar seis modelos de lenguaje diferentes para ver si realmente razonan de estas formas complejas. El estudio comenzó con un plan simple pero riguroso: antes de preguntar a los modelos sobre acertijos filosóficos difíciles, el investigador primero les preguntó sobre hechos que son innegablemente verdaderos o falsos. Presentó 150 afirmaciones claras, tales como "La suma de 11 y 35 es 46" y "La capital de Francia es París", junto con sus negaciones. Luego preguntó a cada modelo, en conversaciones separadas, si la afirmación original era verdadera y si la afirmación negada era verdadera. Si un modelo está funcionando correctamente, debería decir "verdadero" a una y "falso" a la otra. Si dice "falso" a ambas, ha creado un vacío. Si dice "verdadero" a ambas, ha creado un "exceso" (glut), o una contradicción.
Los resultados de esta prueba inicial fueron sorprendentes. De los seis modelos probados, cuatro fallaron en una comprobación básica de su propia lógica. Al enfrentarse a problemas matemáticos simples, estos modelos frecuentemente negaban tanto la suma correcta como la suma incorrecta. Por ejemplo, un modelo negó que 11 más 35 fuera igual a 46, y también negó que 11 más 35 no fuera igual a 46. Esto ocurrió en más de la mitad de las preguntas matemáticas para algunos modelos. El investigador descubrió que este fallo no se debía a una falta de conocimiento; los modelos cometían estos errores incluso cuando la matemática era correcta. En cambio, los modelos parecían estar luchando con el acto mismo de la negación. No estaban descubriendo un vacío lógico en la naturaleza de la aritmética; simplemente estaban fallando al procesar la palabra "no".
Para dar sentido a estos hallazgos, el investigador estableció una regla estricta, o "puerta" (gate), para interpretar los resultados. Las respuestas de un modelo solo podrían considerarse un vacío lógico genuino si rendía bien en los hechos simples y conocidos primero. Si un modelo cometía demasiados errores en las preguntas fáciles, sus respuestas a las preguntas difíciles no podían ser confiables. Cuando se aplicó esta regla, el panorama cambió drásticamente. Cuatro de los modelos fueron descalificados porque fallaron la puerta. Un quinto modelo, aunque no cometió muchos errores de lógica, se negó a responder o dio respuestas que no podían entenderse en más del 30 por ciento de los casos, lo que hacía imposible medir sus resultados. Esto dejó solo a un modelo, un sistema más pequeño llamado Gemini 3.1 Flash Lite, que era lo suficientemente confiable como para ser estudiado más a fondo.
Con este único modelo calibrado, el investigador regresó a la famosa paradoja del mentiroso. Antes de la calibración, una lectura no calibrada de los datos de un modelo grande de código abierto había sugerido que la máquina trataba la paradoja como un vacío lógico, negándose a asignarle un valor de verdad. Esto hacía parecer que la máquina seguía la lógica de un filósofo llamado Kripke, quien argumentaba que tales frases no tienen valor de verdad. Sin embargo, una vez aplicada la calibración, esa conclusión desapareció. El único modelo que podía ser confiable no trató la frase del mentiroso como un vacío. En su lugar, respondió que la frase no es verdadera y que es falsa, dando efectivamente un veredicto estándar de "falso". No vio la frase como algo que es verdadero y falso al mismo tiempo, ni vio que no tuviera ningún valor. Simplemente rechazó la afirmación.
El estudio concluye que la promesa de usar la inteligencia artificial para resolver antiguos acertijos lógicos está actualmente limitada por las propias debilidades de las máquinas. Los "vacíos" y "excesos" que los investigadores esperaban encontrar en el comportamiento de estos modelos eran a menudo simplemente errores en cómo los modelos manejan la negación. El modelo que pasó la prueba estricta no ofreció una nueva solución filosófica a la paradoja del mentiroso; ofreció una respuesta estándar de dos lados. La investigación no demuestra que las máquinas no puedan pensar de formas complejas, pero sí demuestra que no podemos asumir que lo hagan. Para saber qué está pensando realmente una máquina, primero debemos estar seguros de que entiende la diferencia entre una afirmación y su opuesto. Hasta que podamos calibrar los modelos para que manejen la lógica simple del "no", cualquier conclusión profunda que saquemos de sus respuestas sobre acertijos complejos seguirá sin estar probada.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.