Beyond Epistemia: Epistemic Schizologia and Large Language Models as Techno-Semiotic Machines

A Grande Ilusão do Conhecimento: Quando as Palavras Parecem Inteligentes, Mas Não Sabem Nada

Imagine que você está caminhando por uma biblioteca gigante e antiga, onde os livros são escritos por um escriba misterioso e invisível. Este escriba leu todos os livros da biblioteca e pode escrever instantaneamente uma nova página que soa exatamente como um livro de história real, um livro didático de ciências ou um contrato jurídico. Ele usa as palavras certas, a gramática correta e até o tom adequado. Mas aqui está o detalhe: o escriba não sabe realmente o que está escrevendo. Ele não tem um cérebro, não viu o mundo e não se importa se o que escreve é verdadeiro ou falso. Ele apenas sabe quais palavras costumam vir depois de outras.

Este é o mundo dos Modelos de Linguagem de Grande Escala (LLMs), os programas de computador superinteligentes por trás de ferramentas como a que você pode estar usando agora. Cientistas e filósofos têm se preocupado com um problema específico chamado "Epistemia". Pense nisso como uma "ilusão de conhecimento". Isso acontece quando a escrita do escriba é tão fluida e convincente que paramos de perguntar: "Isso é verdade?" e começamos a pensar: "Uau, isso deve ser verdade!". Sentimos que temos a resposta, mas não fizemos o trabalho árduo de verificar os fatos, procurar evidências ou pensar criticamente.

O artigo que você está prestes a ler mergulha profundamente nesse problema. Ele pergunta: Por que isso acontece? É porque o computador está "quebrado" em comparação a um humano? Ou o problema está, na verdade, em como nós usamos o computador? Os autores argumentam que a maneira usual como comparamos humanos e computadores é injusta. Eles sugerem uma nova forma de olhar para isso, chamando-a de "Esquizologia Epistêmica" (uma forma elegante de dizer "a divisão do conhecimento"). Eles acreditam que o verdadeiro perigo não é apenas que o computador seja burro, mas que construímos um sistema onde o computador nos dá uma resposta de aparência perfeita, e nós esquecemos de conectar essa resposta de volta ao mundo real de evidências e responsabilidade.

---

A Grande Ideia do Artigo: Não é Culpa do Robô, é a Dança

Os autores, Federico Cabitza e Gianluca Colombo, começam concordando com um alerta de outros pesquisadores (Quattrociocchi e colegas). Eles admitem que a IA pode nos enganar. Quando uma IA fornece uma resposta fluente e confiante, parece que fizemos o pensamento, mas não fizemos. Os autores chamam esse estado de Epistemia: a sensação de ter conhecimento sem fazer o trabalho de julgamento.

No entanto, os autores dizem que os outros pesquisadores estão olhando para o problema da maneira errada. Eles estão comparando um ser humano plenamente desenvolvido (que tem um corpo, uma história de vida, amigos e uma consciência) a um programa de computador solitário (que é apenas uma máquina matemática). Os autores dizem que isso é como comparar um jogador de futebol profissional a uma única bola de futebol. É claro que o jogador é melhor! Mas isso não nos diz como o jogo é realmente jogado.

Em vez disso, os autores propõem uma nova ideia: a Esquizologia Epistêmica.
Imagine uma "esquizologia" como um rasgo ou uma divisão em um pedaço de tecido. Neste caso, o tecido é o "conhecimento".

• Lado A do rasgo: A IA produz uma frase bela e plausível. Ela parece conhecimento. Tem o vocabulário e a estrutura corretos.
• Lado B do rasgo: O processo real e desordenado de verificar fatos, discutir com especialistas, encontrar evidências e assumir a responsabilidade por estar certo ou errado.

O problema, dizem os autores, é que a IA criou uma máquina que pode produzir o Lado A perfeitamente, mas não tem como realizar o Lado B. Pior ainda, a maneira como usamos essas máquinas muitas vezes esconde essa divisão. Recebemos uma resposta perfeita e esquecemos que a parte da "verificação" está ausente.

A Analogidade da "Máquina Tecno-Semiótica"

Para explicar o que uma IA realmente é, os autores usam uma metáfora interessante. Eles a chamam de Máquina Tecno-Semiótica.
Pense nela como um tear gigante e mágico.

• O Fio: O tear é alimentado com uma enorme pilha de fios feitos de tudo o que os humanos já escreveram (livros, sites, artigos).
• O Padrão: O tear não "entende" os fios. Ele apenas aprende que fios vermelhos geralmente combinam com fios azuis, e que "gato" geralmente combina com "rato".
• O Resultado: Quando você pede para ele tecer algo, ele cospe um novo pedaço de pano. Parece exatamente uma tapeçaria feita por humanos. Tem os padrões e as cores corretas.

Mas aqui está a chave: o tear não sabe o que a imagem significa. Ele não sabe se a imagem é uma história sobre um herói ou um aviso sobre um monstro. Ele apenas sabe como tecer os fios juntos para que eles pareçam certos.

Os autores argumentam que o perigo não é que o tear seja "falso". O perigo é que tratamos a tapeçaria que o tear faz como se fosse uma história verdadeira e acabada, sem verificar os fios que ele usou.

A Armadilha do "Fechamento Eikótico"

O artigo introduz outro conceito divertido chamado Fechamento Eikótico.
"Eikos" é uma palavra grega antiga para "plausível" ou "provável".
Imagine que você está lendo uma história de mistério. O detetive diz: "O mordomo fez isso porque estava zangado". Isso soa plausível.
Agora, imagine que a história termina ali mesmo. O livro fecha. Você se sente satisfeito. Você pensa: "Caso encerrado!".
Mas e se o detetive nunca tiver encontrado a arma? E se ele nunca tiver verificado o álibi? E se o mordomo fosse, na verdade, inocente?

O Fechamento Eikótico ocorre quando a IA lhe dá uma resposta "plausível" e a interface (a tela, a caixa de chat) age como o fechamento do livro. Ela faz a resposta parecer terminada, final e completa. Ela engana seu cérebro, fazendo-o pensar que o "trabalho" está concluído. Os autores dizem que isso é uma escolha de design. A IA não apenas cospe palavras; ela cospe palavras de uma forma que parece um veredito final. Isso nos faz parar de fazer perguntas.

Por Que a Comparação "Humano vs. Robô" Está Errada

Os autores são muito claros sobre o que eles são contra. Eles argumentam contra a ideia de que precisamos tornar o robô "mais humano".

• Eles dizem que não devemos tentar dar ao robô uma "consciência" ou "crenças". Isso é impossível e perde o ponto.
• Eles dizem que não devemos culpar o robô por ser "burro" enquanto elogiamos os humanos por serem "espertos". Humanos também são muito ruins em verificar fatos! Nós ficamos cansados, ficamos preguiçosos e cometemos erros.
• Eles argumentam que o conhecimento humano sempre dependeu de ferramentas. Usamos canetas, bibliotecas e computadores para pensar. O problema não é que a IA é uma ferramenta; o problema é que a estamos usando de uma forma que quebra a cadeia de confiança.

A Solução: Conserte a Dança, Não o Dançarino

Então, o que os autores sugerem que façamos? Eles dizem que precisamos parar de tentar consertar o robô e começar a consertar a prática (a maneira como trabalhamos juntos).

Eles propõem cinco "compromissos" para como devemos projetar esses sistemas:

1. Mostrar a Genealogia (A Árvore Genealógica): Não dê apenas a resposta. Mostre a "árvore genealógica" da resposta. De onde vieram as palavras? Quais livros a IA leu? Se ela fez um palpite, mostre o palpite. Precisamos ser capazes de rastrear a resposta de volta ao mundo real.
2. Manter a Opção do "Não": Às vezes, a resposta certa é "Eu não sei" ou "Isso é controverso". A IA não deve sempre tentar dar uma resposta perfeita e suave. Ela deve ter permissão para dizer: "Ei, há um desacordo aqui", ou "Estou sentindo falta de alguns fatos". Esse "atrito" é bom porque nos faz pensar.
3. Compartilhar a Culpa (e o Crédito): Se um erro acontece, quem é o responsável? Não é apenas o robô. É a pessoa que fez a pergunta, a empresa que construiu o robô e a pessoa que usou a resposta. Precisamos saber quem está no comando.
4. Manter o Humano no Assento do Motorista: Não devemos apenas clicar em "aprovar" em tudo. Precisamos ser capazes de verificar o trabalho, pedir diferentes versões e entender por que a IA disse o que disse.
5. Testar a Equipe, Não Apenas o Robô: Não devemos apenas perguntar: "O robô é inteligente?". Devemos perguntar: "A equipe Humano + Robô está trabalhando bem junta?". Eles estão tomando decisões melhores? Estão pegando erros?

A Conclusão

O artigo conclui que o problema não é que a IA é um "falso humano". O problema é que criamos uma divisão (esquizologia) entre a aparência do conhecimento e o trabalho do conhecimento.

A IA é como um chef mestre que pode cozinhar uma refeição que parece e tem o gosto de um jantar gourmet, mas o chef nunca provou comida, nunca viu uma fazenda e não sabe se os ingredientes estão frescos. Se apenas comermos a refeição e dissermos "Delicioso!", sem verificar a cozinha, podemos ficar doentes.

Os autores dizem que precisamos parar de tentar fazer o chef "provar" a comida. Em vez disso, precisamos construir uma cozinha onde os ingredientes sejam visíveis, o processo de cozimento seja aberto e a pessoa que come a refeição saiba como verificar se ela é segura. Precisamos reconectar as belas palavras que a IA escreve com o trabalho desordenado do mundo real de provar que elas são verdadeiras.

Em resumo: Não confie na voz suave. Confie no processo. O artigo sugere que, se projetarmos nossos sistemas para manter a "divisão" visível — para que possamos sempre ver de onde veio a resposta e quem é responsável por ela — poderemos usar essas máquinas poderosas sem perder a sanidade.