Para entender como um programa de computador pensa sobre a verdade, devemos primeiro entender como ele lida com a palavra "não". No estudo da inteligência artificial, pesquisadores frequentemente pedem que um modelo julgue uma afirmação, como "O céu é azul". Se o modelo disser "falso", sabemos que ele acredita que o céu não é azul. Mas e se o modelo disser "falso" para a afirmação "O céu é azul" e também disser "falso" para a afirmação "O céu não é azul"? Isso cria um enigma lógico. O modelo não está simplesmente dizendo que o céu é de uma cor diferente; ele está rejeitando tanto a afirmação quanto a sua negação. Na lógica, esse estado é chamado de "lacuna" (gap), sugerindo que o modelo vê a afirmação como não possuindo valor de verdade algum, talvez porque a própria pergunta esteja quebrada. Esse método de fazer duas perguntas separadas — uma sobre uma afirmação e outra sobre a sua negação — é chamado de avaliação bilateral. Ele é projetado para revelar se uma mente artificial consegue lidar com contradições ou se ela simplesmente se confunde com a estrutura da linguagem.

Os riscos desta questão são altos devido a famosos enigmas filosóficos, como o "paradoxo do mentiroso", uma frase que diz: "Esta frase é falsa". Se a frase for verdadeira, então ela deve ser falsa. Se ela for falsa, então ela deve ser verdadeira. Por décadas, filósofos debateram se tais frases são impossíveis de resolver ou se são verdadeiras e falsas ao mesmo tempo. À medida que os sistemas de inteligência artificial se tornam mais capazes, pesquisadores começaram a usá-los para testar essas ideias antigas, esperando ver se as máquinas adotam naturalmente uma dessas posturas lógicas complexas. No entanto, um novo estudo sugere que, quando olhamos de perto para a forma como essas máquinas respondem, estamos frequentemente vendo uma falha em sua capacidade de processar a palavra "não", em vez de um profundo insight filosófico.

Maikel Leyva, um pesquisador de universidades do Chile e do Equador, propôs-se a testar seis modelos de linguagem diferentes para ver se eles realmente raciocinam dessas formas complexas. O estudo começou com um plano simples, mas rigoroso: antes de perguntar aos modelos sobre enigmas filosóficos difíceis, o pesquisador primeiro perguntou-lhes sobre fatos que são inegavelmente verdadeiros ou falsos. Ele apresentou 150 afirmações claras, como "A soma de 11 e 35 é 46" e "A capital da França é Paris", juntamente com suas negações. Ele então perguntou a cada modelo, em conversas separadas, se a afirmação original era verdadeira e se a afirmação negada era verdadeira. Se um modelo estiver funcionando corretamente, ele deve dizer "verdadeiro" para uma e "falso" para a outra. Se ele disser "falso" para ambas, ele criou uma lacuna. Se ele disser "verdadeiro" para ambas, ele criou um "excesso" (glut), ou uma contradição.

Os resultados deste teste inicial foram surpreendentes. Dos seis modelos testados, quatro falharam em um teste básico de sua própria lógica. Ao serem confrontados com problemas matemáticos simples, esses modelos frequentemente negavam tanto a soma correta quanto a soma incorreta. Por exemplo, um modelo negou que 11 mais 35 seja igual a 46, e também negou que 11 mais 35 não seja igual a 46. Isso aconteceu em mais da metade das questões matemáticas para alguns modelos. O pesquisador descobriu que essa falha não se devia à falta de conhecimento; os modelos cometiam esses erros mesmo quando a matemática estava correta. Em vez disso, os modelos pareciam estar lutando com o próprio ato da negação. Eles não estavam descobrindo uma lacuna lógica na natureza da aritmética; eles estavam simplesmente falhando em processar a palavra "não".

Para dar sentido a essas descobertas, o pesquisador estabeleceu uma regra estrita, ou "portão" (gate), para interpretar os resultados. As respostas de um modelo só poderiam ser consideradas uma lacuna lógica genuína se ele tivesse um bom desempenho nos fatos simples e conhecidos primeiro. Se um modelo cometesse muitos erros nas perguntas fáceis, suas respostas às perguntas difíceis não poderiam ser confiáveis. Quando essa regra foi aplicada, o cenário mudou dramaticamente. Quatro dos modelos foram desqualificados porque falharam no portão. Um quinto modelo, embora não tenha cometido muitos erros de lógica, recusou-se a responder ou deu respostas que não podiam ser compreendidas em mais de 30 por cento dos casos, tornando seus resultados impossíveis de medir. Isso deixou apenas um modelo, um sistema menor chamado Gemini 3.1 Flash Lite, que era confiável o suficiente para ser estudado adiante.

Com este único modelo calibrado, o pesquisador retornou ao famoso paradoxo do mentiroso. Antes da calibração, uma leitura não calibrada dos dados de um modelo grande e de código aberto sugeriu que a máquina tratava o paradoxo como uma lacuna lógica, recusando-se a atribuir a ele um valor de verdade. Isso parecia indicar que a máquina estava seguindo a lógica de um filósofo chamado Kripke, que argumentava que tais frases não possuem valor de verdade. No entanto, uma vez aplicada a calibração, essa conclusão desapareceu. O único modelo que podia ser confiável não tratou a frase do mentiroso como uma lacuna. Em vez disso, respondeu que a frase não é verdadeira e que ela é falsa, dando-lhe, efetivamente, um veredito padrão de "falso". Ele não viu a frase como sendo verdadeira e falsa ao mesmo tempo, nem a viu como não possuindo valor algum. Ele simplesmente rejeitou a afirmação.

O estudo conclui que a promessa de usar inteligência artificial para resolver antigos enigmas lógicos é atualmente limitada pelas próprias fraquezas das máquinas. As "lacunas" e "excessos" que os pesquisadores esperavam encontrar no comportamento desses modelos eram frequentemente apenas erros na forma como os modelos lidam com a negação. O modelo que passou no teste rigoroso não ofereceu uma nova solução filosófica para o paradoxo do mentiroso; ele ofereceu uma resposta padrão, de dois lados. A pesquisa não prova que as máquinas não podem pensar de formas complexas, mas prova que não podemos assumir que elas o façam. Para saber o que uma máquina está realmente pensando, devemos primeiro ter certeza de que ela entende a diferença entre uma afirmação e o seu oposto. Até que possamos calibrar os modelos para lidar com a lógica simples do "não", quaisquer conclusões profundas que tiremos de suas respostas sobre enigmas complexos permanecerão não comprovadas.