💬 NLP

Exploring the Reversal Curse and Other Deductive Logical Reasoning in BERT and GPT-Based Large Language Models

Este estudo revela que, embora os modelos BERT bidirecionais sejam imunes à "Maldição da Reversão" que prejudica os modelos GPT autorregressivos em dedução lógica simétrica, ambas as arquiteturas têm dificuldade com o raciocínio dedutivo de multiconjuntos complexos, sugerindo que a seleção do modelo deve ser adaptada às demandas lógicas específicas de tarefas como a construção de grafos de conhecimento biomédico.

Autores originais: Da Wu, Jingye Yang, Kai Wang

Publicado 2026-07-15

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Da Wu, Jingye Yang, Kai Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os Robôs Inteligentes e o Labirinto de Espelhos

Imagine que você está ensinando um robô a entender o mundo. Você mostra a ele a foto de um gato e diz: "Isto é um gato". Mais tarde, você mostra a palavra "gato" e pergunta: "Qual imagem combina com isto?". Um cérebro humano lida com essa inversão sem esforço; sabemos que se "Gato" equivale a "Imagem", então "Imagem" equivale a "Gato". Mas, por muito tempo, os cérebros de computador mais avançados, conhecidos como Grandes Modelos de Linguagem (LLMs), lutaram com essa simples inversão. Eles eram como alunos que memorizaram uma lista de respostas, mas não consegravam entender a pergunta se ela fosse feita de trás para frente. Esse erro específico é chamado de "Maldição da Reversão" (Reversal Curse).

Para entender por que isso importa, pense nesses modelos de IA como dois tipos diferentes de leitores. Um tipo é o Decodificador (como a famosa série GPT), que lê uma história da esquerda para a direita, prevendo a próxima palavra com base apenas no que veio antes. Ele é ótimo para escrever histórias ou completar frases, mas não consegue espiar à frente para ver o quadro completo. O outro tipo é o Codificador (como o BERT), que lê uma frase de uma só vez, observando cada palavra em relação a todas as outras simultaneamente. É como ler uma frase com uma lupa que mostra o contexto de cada palavra ao mesmo tempo. Os cientistas têm se perguntado: se ensinarmos esses robôs a fazer matemática básica com grupos de coisas — como combinar listas de amigos ou encontrar os amigos que eles têm em comum — eles podem realmente pensar através da lógica, ou estão apenas adivinhando com base em padrões que viram antes? Essa questão é crucial porque, se quisermos usar esses robôs para construir mapas complexos de conhecimento (como para medicina ou ciência), eles precisam ser capazes de raciocinar, não apenas repetir.

A História do Artigo: Quem Consegue Virar o Jogo?

Neste estudo, os pesquisadores Da Wu, Jingye Yang e Kai Wang decidiram colocar esses diferentes cérebros robóticos à prova. Eles queriam ver se a "Maldição da Reversão" era um erro permanente ou apenas uma peculiaridade de como certos modelos são construídos, e se esses modelos poderiam realmente lidar com enigmas lógicos mais complicados envolvendo conjuntos de itens.

O Teste do Espelho: A Maldição da Reversão
Primeiro, eles enfrentaram a "Maldição da Reversão". Imagine que você ensina um robô que "Jimmy Carter é o 39º Presidente". Se você perguntar ao robô: "Quem é o 39º Presidente?", um robô padrão (como o GPT-3) muitas vezes trava. Ele conhece o fato em uma direção, mas não consegue inverter a pergunta para responder o inverso. Os pesquisadores descobriram que os modelos Decodificadores (como GPT e Lamá) realmente sofrem com essa maldição; eles têm dificuldade em deduzir "B é A" a partir de "A é B".

No entanto, o modelo Codificador (BERT) foi uma história diferente. Como o BERT lê ambos os sentidos ao mesmo tempo, ele não se confundiu. Quando os pesquisadores fizeram a pergunta reversa ao BERT, ele respondeu corretamente cerca de 99% das vezes. Acontece que, se você quer que um robô entenda que uma relação funciona nos dois sentidos, você precisa de um cérebro que consiga olhar para o quadro inteiro, não apenas para o passado.

O Enigma Lógico: Misturando e Combinando Grupos
Em seguida, a equipe passou para um desafio mais difícil: operações de conjuntos. Eles ensinaram os robôs a realizar a "União" (combinar duas listas de amigos em uma grande lista) e a "Interseção" (encontrar os amigos que aparecem em ambas as listas).

O Nível Fácil (Dois Conjuntos): Quando os robôs foram solicitados a combinar ou comparar apenas dois grupos de nomes (como "Super-heróis" e "Dinossauros"), tanto os modelos Decodificadores (Llama 2 e 3) quanto o modelo Codificador (BERT) fizeram um trabalho fantástico. Eles acertaram as respostas quase todas as vezes. Parecia que haviam dominado a lógica.
O Nível Difícil (Três Conjuntos): Então, os pesquisadores tornaram o enigma mais difícil. Eles pediram aos robôs para misturar três grupos de uma vez, ou para fazer uma mistura de operações, como "Encontre os amigos comuns ao Grupo A e ao Grupo B, depois adicione o Grupo C".

Foi aqui que o truque de mágica falhou. Embora os robôs fosressem ótimos nas tarefas simples de dois grupos, eles tropeçaram feio quando três grupos estavam envolvidos.

O Problema do BERT: O modelo BERT parecia estar trapaceando. Ele não estava realmente fazendo a matemática; estava apenas procurando palavras que reconhecia. Se uma frase tivesse um nome novo que ele não conhecia, ele imediatamente dizia "Não, isso está errado". Mas se a resposta errada usasse nomes que ele conhecia, ele se confundia e dizia "Sim, isso está certo". Ele estava memorizando o vocabulário, não a lógica.
O Problema do Llama: Os modelos Llama (os modelos Decodificadores) também tiveram dificuldades. Ao serem questionados sobre encontrar os amigos comuns em três grupos, eles frequentemente apenas listavam todos os nomes que conheciam, ignorando as regras específicas do enigma. Eles pareciam estar relembrando uma lista de nomes que viram durante o treinamento, em vez de calcular a interseção correta.

O Coringa do GPT-4
Os pesquisadores também testaram o modelo mais recente e de código fechado, o GPT-4. Este robô era muito melhor que os outros. Ele conseguia lidar com a maioria dos enigmas lógicos de três conjuntos corretamente, muitas vezes decompondo o problema em etapas menores para resolvê-lo. No entanto, até o GPT-4 começou a cometer erros quando o número de grupos ficava muito alto (como sete ou oito conjuntos), sugerindo que mesmo os modelos atuais mais inteligentes têm limites quando se trata de dedução complexa de múltiplas etapas.

A Grande Lição

A principal lição deste artigo é que nem todos os cérebios de IA são construídos da mesma forma, e nenhum robô é perfeito para cada tarefa. Se você precisa de um modelo para entender uma relação de forma reversa (como inverter um fato), um modelo bidirecional como o BERT é o vencedor claro. Mas se você precisa de um modelo para escrever uma história ou prever a próxima palavra em uma frase, os modelos unidirecionais como o GPT ainda são os reis.

Mais importante ainda, o estudo sugere que, embora esses modelos sejam incríveis em detectar padrões e imitar a linguagem humana, eles não estão necessariamente "pensando" da mesma forma que os humanos. Quando a lógica se torna muito complexa, eles tendem a recorrer à memorização de palavras em vez de compreender as regras. Portanto, se você estiver construindo um sistema para criar um grafo de conhecimento médico ou resolver uma prova matemática difícil, você não pode apenas confiar que o robô vai descobrir por conta própria; você deve ser muito cuidadoso sobre como faz as perguntas e qual tipo de robô escolhe para realizar o trabalho. Os robôs estão ficando mais inteligentes, mas ainda têm muito o que aprender sobre o verdadeiro raciocínio lógico.

Resumo Técnico: Explorando a Maldição da Reversão e o Raciocínio Lógico Dedutivo em LLMs Baseados em BERT e GPT

Declaração do Problema

O estudo aborda a "Maldição da Reversão" (Reversal Curse), um fenômeno observado em modelos de linguagem de grande escala (LLMs) baseados em decodificadores autorregressivos, onde o modelo falha em deduzir a relação inversa "B é A" apesar de ter sido treinado na relação direta "A é B". Essa limitação prejudica a confiabilidade de modelos como GPT-3 e Llama-1 em tarefas que exigem inferência lógica bidirecional, como a construção de grafos de conhecimento. Além disso, o artigo investiga se esses modelos, juntamente com modelos codificadores bidirecionais como o BERT, possuem a capacidade de realizar raciocínio dedutivo mais complexo, especificamente a capacidade de realizar operações de interseção ( $\cap$ ) e união ( $\cup$ ) de conjuntos múltiplos sem treinamento explícito nessas combinações específicas.

Metodologia

Os autores realizaram uma análise comparativa entre modelos codificadores bidirecionais (BERT) e modelos decodificadores autorregressivos (GPT-4, Llama 2 e Llama 3) através de dois domínios experimentais primários:

Avaliação da Maldição da Reversão:
- Conjunto de Dados: O estudo utilizou o conjunto de dados do artigo original da Maldição da Reversão, adaptado para classificação de texto. Incluiu pares sintéticos de nomes e descrições (ex: "Jimmy Carter" e "39º presidente").
- Modelos: O BERT (ajustado para classificação binária) foi comparado contra o GPT-3 (175B) e o Llama 3.
- Tarefa: Os modelos foram testados em sua capacidade de inferir a direção reversa (Descrição $\to$ Nome) após o treinamento na direção direta (Nome $\to$ Descrição).
Raciocínio de Operação de Conjuntos (Interseção e União):
- Geração de Dados: Conjuntos de dados sintéticos foram criados usando quatro categorias de entidades (Super-heróis, Dinossauros, Mamíferos, Pássaros).
- Treinamento: Os modelos foram ajustados (fine-tuned) em tarefas "simples" envolvendo a interseção e união de dois conjuntos ( $A \cap B$ $A \cap B$ e $A \cup B$ $A \cup B$ ).
  - BERT: Treinado em exemplos positivos e negativos para classificação binária.
  - Llama 2/3: Treinados exclusivamente em exemplos positivos para predição do próximo token (geração autorregressiva).
- Teste: Os modelos foram avaliados em:
  - Casos Simples: Pares não vistos de dois conjuntos.
  - Casos Complexos: Operações envolvendo três conjuntos, incluindo interseções triplas ( $A \cap B \cap C$ ), uniões triplas ( $A \cup B \cup C$ ) e operações mistas ( $(A \cap B) \cup C$ e $(A \cup B) \cap C$ ).
- Métricas: O BERT foi avaliado usando Recall, Precisão e escores F1. Os modelos Llama foram avaliados usando Correspondência Exata (Exact Match) e taxas de 80% de correspondência. O GPT-4 foi avaliado heuristicamente como um modelo proprietário.

Principais Resultados

1. Imunidade à Maldição da Reversão

BERT: Demonstrou alta proficiência (aprox. 99% de precisão) em inferir "B é A" a partir de "A é B", confirmando que modelos codificadores bidirecionais não sofrem da Maldição da Reversão.
Modelos Decodificadores (GPT-3, Llama 3): Consistente com a literatura prévia, esses modelos mostraram precisão próxima de zero na direção reversa quando dependiam apenas de pré-treinamento ou ajuste fino na direção direta.

2. Desempenho em Operações de Dois Conjuntos

Tanto o BERT quanto os modelos Llama performaram de forma robusta em tarefas simples de interseção e união envolvendo dois conjuntos, alcançando altas taxas de precisão (BERT ~99%, Llama ligeiramente inferior, mas ainda alto).
Os autores observam que, embora o desempenho tenha sido alto, permanece incerto se os modelos realmente compreenderam a lógica ou se apenas reconheceram padrões nas palavras-chave do prompt.

3. Falha em Operações Complexas de Três Conjuntos

Dificuldade Geral: Quando testados em operações envolvendo três conjuntos sem treinamento específico prévio nessas combinações, ambos os tipos de modelos exibiram limitações significativas.
Viés do BERT: Embora o BERT tenha mantido alta precisão em casos positivos, ele exibiu um forte viés de vocabulário. Ele identificou corretamente amostras negativas contendo nomes novos (fora dos conjuntos de treinamento), mas teve dificuldades quando as amostras negativas continham nomes conhecidos organizados incorretamente (ex: subconjuntos ou superconjuntos). Isso sugere que o BERT depende da recorrência de termos em vez de estrutura lógica semântica.
Correspondência de Padrões do Llama: Llama 2 e 3 performaram bem apenas na tarefa de união tripla ( $A \cup B \cup C$ ), alcançando até 92% de precisão na predição de pelo menos 80% do conjunto alvo. No entanto, falharam significamente em interseções e operações mistas, frequentemente alucinando ou relembrando todas as entidades previamente vistas em vez de aplicar o operador lógico.
GPT-4: Mostrou melhor capacidade que o Llama 2/3 para lidar com operações de três conjuntos, frequentemente decompondo o problema em etapas. Contudo, as taxas de erro aumentaram com o número de conjuntos (ex: sete ou oito conjuntos), e o desempenho não foi perfeito.

Principais Contribuições

Validação Empírica da Maldição da Reversão: Confirmou que a Maldição da Reversão é uma limitação arquitetural de decodificadores autorregressivos, enquanto codificadores bidirecionais (BERT) são imunes a ela.
Benchmark de Raciocínio Lógico: Demonstrou que o ajuste fino de LLMs em operações de conjuntos simples (dois conjuntos) não se generaliza para composições lógicas complexas (três conjuntos).
Comparação Arquitetural: Forneceu uma comparação direta mostrando que, enquanto os decodificadores se destacam na predição de sequências, os codificadores podem ser superiores para tarefas que exigem contexto bidirecional e classificação de relações lógicas, desde que a tarefa possa ser enquadrada como tal.
Análise de Viés: Identificou que os LLMs frequentemente dependem de correspondência de padrões superficiais (relembrando tokens vistos) em vez de dedução lógica abstrata quando confrontados com novas combinações de entidades conhecidas.

Significância e Alegações

O artigo conclui que a seleção de uma arquitetura de LLM (Codificador vs. Decodificador) deve ser impulsionada pelos requisitos lógicos específicos da tarefa.

Para Grafos de Conhecimento: Os autores alertam contra a dependência exclusiva de modelos decodificadores autorregressivos para construir grafos de conhecimento médico ou realizar deduções lógicas rigorosas (ex: interseções/uniões de conjuntos de termos ontológicos). A incapacidade desses modelos de inferir confiavelmente relações reversas ou generalizar operações de conjuntos complexas sugere que eles podem atuar mais como "assistentes de escrita" replicando padrões aprendidos do que como "máquinas lógicas".
Para Tarefas Lógicas: Tarefas que exigem dedução reversa ou classificação de relações bidirecionais são mais adequadas para codificadores bidirecionais como o BERT.
Limitações: O estudo destaca que os LLMs atuais, mesmo após ajuste fino, carecem da capacidade autônoma de deduzir sequências lógicas complexas (como $A \cap (B \cup C)$ ) sem exposição explícita a estruturas semelhantes. Os autores sugerem que alcançar o raciocínio lógico confiável em ambientes de alto risco (ex: diagnóstico médico, provas matemáticas) pode exigir mais do que apenas o aumento da escala de dados; pode necessitar de algoritmos avançados projetados para melhorar a compreensão da estrutura lógica.