💬 NLP

Exploring the Reversal Curse and Other Deductive Logical Reasoning in BERT and GPT-Based Large Language Models

Este estudio revela que, si bien los modelos BERT bidireccionales son inmunes a la "maldición de la reversión" que obstaculiza a los modelos GPT autorregresivos en la deducción lógica simétrica, ambas arquitecturas tienen dificultades con el razonamiento deductivo de multiconjuntos complejos, lo que sugiere que la selección del modelo debe adaptarse a las demandas lógicas específicas de tareas como la construcción de grafos de conocimiento biomédico.

Autores originales: Da Wu, Jingye Yang, Kai Wang

Publicado 2026-07-15

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Da Wu, Jingye Yang, Kai Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los Bots Cerebrales y el Laberinto de Espejos

Imagina que le estás enseñando a un robot a entender el mundo. Le muestras la foto de un gato y le dices: "Esto es un gato". Más tarde, le muestras la palabra "gato" y le preguntas: "¿Qué imagen va con esto?". Un cerebro humano maneja este cambio sin esfuerzo; sabemos que si "Gato" es igual a "Imagen", entonces "Imagen" es igual a "Gato". Pero durante mucho tiempo, los cerebros de computadora más avanzados, conocidos como Modelos de Lenguaje Extensos (LLM), tuvieron dificultades con este simple giro. Eran como estudiantes que memorizaron una lista de respuestas pero no podían descifrar la pregunta si se la hacían al revés. Este fallo específico se llama la "Maldición de la Reversión".

Para entender por qué esto importa, piensa en estos modelos de IA como dos tipos diferentes de lectores. Un tipo es el Decodificador (como la famosa serie GPT), que lee una historia de izquierda a derecha, prediciendo la siguiente palabra basándose solo en lo que vino antes. Es excelente escribiendo historias o terminando frases, pero no puede mirar hacia adelante para ver la imagen completa. El otro tipo es el Codificador (como BERT), que lee una oración de golpe, mirando cada palabra en relación con todas las demás simultáneamente. Es como leer una oración con una lupa que te muestra el contexto de cada palabra al mismo tiempo. Los científicos se han estado preguntando: si enseñamos a estos robots a hacer matemáticas básicas con grupos de cosas —como combinar listas de amigos o encontrar los amigos que tienen en común—, ¿pueden realmente pensar a través de la lógica, o solo están adivinando basándose en patrones que han visto antes? Esta pregunta es crucial porque, si queremos usar a estos robots para construir mapas complejos de conocimiento (como para la medicina o la ciencia), necesitan ser capaces de razonar, no solo de repetir.

La historia del artículo: ¿Quién puede cambiar los papeles?

En este estudio, los investigadores Da Wu, Jingye Yang y Kai Wang decidieron poner a prueba estos diferentes cerebros robóticos. Querían ver si la "Maldición de la Reversión" era un error permanente o solo una peculiaridad de cómo están construidos ciertos modelos, y si estos modelos podían realmente manejar acertijos lógicos más complicados que involucraran conjuntos de elementos.

La prueba del espejo: La Maldición de la Reversión
Primero, abordaron la "Maldición de la Reversión". Imagina que le enseñas a un robot que "Jimmy Carter es el 39º Presidente". Si le preguntas al robot: "¿Quién es el 39º Presidente?", un robot estándar (como GPT-3) a menudo se queda bloqueado. Conoce el hecho en una dirección, pero no puede darle la vuelta para responder a la pregunta inversa. Los investigadores descubrieron que los modelos Decodificadores (como GPT y Llama) realmente sufren de esta maldición; les cuesta deducir que "B es A" a partir de "A es B".

Sin embargo, el modelo Codificador (BERT) fue una historia diferente. Debido a que BERT lee en ambas direcciones a la vez, no se confundió. Cuando los investigadores le hicieron la pregunta inversa a BERT, respondió correctamente aproximadamente el 99% de las veces. Resulta que, si quieres que un robot entienda que una relación funciona en ambos sentidos, necesitas un cerebro que pueda ver el panorama completo, no solo el pasado.

El acertijo lógico: Mezclando y combinando grupos
A continuación, el equipo pasó a un desafío más difícil: las operaciones de conjuntos. Enseñaron a los robots a realizar una "Unión" (combinar dos listas de amigos en una gran lista) y una "Intersección" (encontrar los amigos que aparecen en ambas listas).

El Nivel Fácil (Dos Conjuntos): Cuando se les pidió a los robots que combinaran o compararan solo dos grupos de nombres (como "Superhéroes" y "Dinosaurios"), tanto los modelos Decodificadores (Llama 2 y 3) como el modelo Codificador (BERT) hicieron un trabajo fantástico. Obtuvieron las respuestas correctas casi siempre. Parecía que habían dominado la lógica.
El Nivel Difícil (Tres Conjuntos): Luego, los investigadores complicaron el acertijo. Pidieron a los robots que mezclaran tres grupos a la vez, o que hicieran una mezcla de operaciones, como "Encuentra los amigos comunes al Grupo A y al Grupo B, luego añade el Grupo C".

Aquí es donde el truco de magia se desmoronó. Mientras que los robots eran excelentes en las tareas simples de dos grupos, tropezaron gravemente cuando se involucraron tres grupos.

El Problema de BERT: El modelo BERT parecía estar haciendo trampa. No estaba haciendo realmente las matemáticas; solo buscaba palabras que reconociera. Si una oración tenía un nombre nuevo que no había visto antes, inmediatamente decía "No, eso es incorrecto". Pero si la respuesta incorrecta usaba nombres que sí conocía, se confundía y decía "Sí, eso es correcto". Estaba memorizando el vocabulario, no la lógica.
El Problema de Llama: Los modelos Llama (los modelos Decodificadores) también tuvieron dificultades. Al pedirles que encontraran los amigos comunes en tres grupos, a menudo simplemente enumeraban a todos los que conocían, ignorando las reglas específicas del acertijo. Parecían estar recordando una lista de nombres que habían visto durante su entrenamiento en lugar de calcular la intersección correcta.

El Comodín de GPT-4
Los investigadores también probaron al modelo más reciente y de código cerrado, GPT-4. Este robot era mucho mejor que los otros. Podía manejar la mayoría de los acertijos lógicos de tres conjuntos correctamente, a menudo descomponiendo el problema en pasos más pequeños para resolverlo. Sin embargo, incluso GPT-4 empezó a cometer errores cuando el número de grupos era demasiado alto (como siete u ocho conjuntos), lo que sugiere que incluso los modelos más inteligentes actuales tienen límites cuando se trata de deducción compleja de múltiples pasos.

La Gran Conclusión

La principal lección de este artículo es que no todos los cerebros de IA están construidos de la misma manera, y ningún robot es perfecto para cada trabajo. Si necesitas un modelo que entienda una relación en reversa (como invertir un hecho), un modelo bidireccional como BERT es el claro ganador. Pero si necesitas un modelo que escriba una historia o prediga la siguiente palabra en una oración, los modelos unidireccionales como GPT siguen siendo los reyes.

Lo más importante es que el estudio sugiere que, si bien estos modelos son increíbles detectando patrones y mimetizando el lenguaje humano, no necesariamente están "pensando" de la misma manera que los humanos. Cuando la lógica se vuelve demasiado compleja, tienden a recaer en la memorización de palabras en lugar de comprender las reglas. Por lo tanto, si estás construyendo un sistema para crear un grafo de conocimiento médico o resolver una difícil demostración matemática, no puedes simplemente confiar en que el robot lo resolverá por sí solo; tienes que ser muy cuidadoso con la forma en que haces las preguntas y con qué tipo de robot eliges para realizar el trabajo. Los robots se están volviendo más inteligentes, pero aún tienen mucho que aprender sobre el verdadero razonamiento lógico.

Resumen Técnico: Explorando la Maldición de la Reversión y el Razonamiento Lógico Deductivo en los LLM Basados en BERT y GPT

Planteamiento del Problema

El estudio aborda la "Maldición de la Reversión" (Reversal Curse), un fenómeno observado en los modelos de lenguaje de gran tamaño (LLM) de tipo decodificador autorregresivo donde el modelo falla al deducir la relación inversa "B es A" a pesar de haber sido entrenado en la relación directa "A es B". Esta limitación dificulta la fiabilidad de modelos como GPT-3 y Llama-1 en tareas que requieren inferencia lógica bidireccional, como la construcción de grafos de conocimiento. Además, el artículo investiga si estos modelos, junto con los modelos codificadores bidireccionales como BERT, poseen la capacidad de realizar un razonamiento deductivo más complejo, específicamente la capacidad de realizar operaciones de intersección ( $\cap$ ) y unión ( $\cup$ ) de múltiples conjuntos sin un entrenamiento explícito en esas combinaciones específicas.

Metodología

Los autores realizaron un análisis comparativo entre modelos codificadores bidireccionales (BERT) y modelos decodificadores autorregresivos (GPT-4, Llama 2 y Llama 3) a través de dos dominios experimentales principales:

Evaluación de la Maldición de la Reversión:
- Conjunto de Datos: El estudio utilizó el conjunto de datos del artículo original sobre la Maldición de la Reversión, adaptado para la clasificación de texto. Incluía pares sintéticos de nombres y descripciones (por ejemplo, "Jimmy Carter" y "39.º presidente").
- Modelos: Se comparó BERT (ajustado para clasificación binaria) contra GPT-3 (175B) y Llama 3.
- Tarea: Los modelos fueron probados en su capacidad de inferir la dirección inversa (Descripción $\to$ Nombre) tras haber sido entrenados en la dirección directa (Nombre $\to$ Descripción).
Razonamiento de Operaciones de Conjuntos (Intersección y Unión):
- Generación de Datos: Se crearon conjuntos de datos sintéticos utilizando cuatro categorías de entidades (Superhéroes, Dinosaurios, Mamíferos, Aves).
- Entrenamiento: Los modelos fueron ajustados mediante tareas "simples" que involucraban la intersección y la unión de dos conjuntos ( $A \cap B$ $A \cap B$ y $A \cup B$ $A \cup B$ ).
  - BERT: Entrenado en ejemplos positivos y negativos para clasificación binaria.
  - Llama 2/3: Entrenado exclusivamente en ejemplos positivos para la predicción del siguiente token (generación autorregresiva).
- Pruebas: Los modelos fueron evaluados en:
  - Casos Simples: Pares no vistos de dos conjuntos.
  - Casos Complejos: Operaciones que involucran tres conjuntos, incluyendo intersecciones triples ( $A \cap B \cap C$ ), uniones triples ( $A \cup B \cup C$ ) y operaciones mixtas ( $(A \cap B) \cup C$ y $(A \cup B) \cap C$ ).
- Métricas: BERT fue evaluado mediante Recall, Precisión y puntuaciones F1. Los modelos Llama fueron evaluados mediante Coincidencia Exacta (Exact Match) y tasas de coincidencia del 80%. GPT-4 fue evaluado heurísticamente como un modelo propietario.

Resultados Clave

1. Inmunidad a la Maldición de la Reversión

BERT: Demostró una alta competencia (aprox. 99% de precisión) en la inferencia de "B es A" a partir de "A es B", confirmando que los modelos codificadores bidireccionales no sufren la Maldición de la Reversión.
Modelos Decodificadores (GPT-3, Llama 3): En consonancia con la literatura previa, estos modelos mostraron una precisión cercana a cero en la dirección inversa cuando dependían únicamente del preentrenamiento o del ajuste fino de datos en la dirección directa.

2. Desempeño en Operaciones de Dos Conjuntos

Tanto BERT como los modelos Llama se desempeñaron de manera robusta en tareas simples de intersección y unión de dos conjuntos, logrando altas tasas de precisión (BERT ~99%, Llama ligeramente inferior pero también alto).
Los autores señalan que, aunque el desempeño fue alto, no está claro si los modelos comprendieron genuinamente la lógica o si simplemente reconocieron patrones en las palabras clave de la instrucción (prompt).

3. Fallo en Operaciones Complejas de Tres Conjuntos

Dificultad General: Al ser probados en operaciones que involucraban tres conjuntos sin entrenamiento específico previo en esas combinaciones, ambos tipos de modelos exhibieron limitaciones significativas.
Sesgo de BERT: Aunque BERT mantuvo una alta precisión en los casos positivos, mostró un fuerte sesgo hacia el vocabulario. Identificó correctamente los ejemplos negativos que contenían nombres nuevos (fuera de los conjuntos de entrenamiento), pero tuvo dificultades cuando los ejemplos negativos contenían nombres conocidos dispuestos incorrectamente (por ejemplo, subconjuntos o superconjuntos). Esto sugiere que BERT depende de la recurrencia de términos en lugar de una estructura lógica semántica.
Emparejamiento de Patrones de Llama: Llama 2 y 3 funcionaron bien únicamente en la tarea de unión triple ( $A \cup B \cup C$ ), alcanzando hasta un 92% de precisión en la predicción de al menos el 80% del conjunto objetivo. Sin embargo, fallaron significamente en las intersecciones y operaciones mixtas, a menudo alucinando o recordando todas las entidades previamente vistas en lugar de aplicar el operador lógico.
GPT-4: Mostró una mejor capacidad que Llama 2/3 para manejar operaciones de tres conjuntos, a menudo descomponiendo el problema en pasos. No obstante, las tasas de error aumentaron con el número de conjuntos (por ejemplo, siete u ocho conjuntos), y el desempeño no fue perfecto.

Principales Contribuciones

Validación Empírica de la Maldición de la Reversión: Confirmó que la Maldición de la Reversión es una limitación arquitectónica de los decodificadores autorregresivos, mientras que los codificadores bidireccionales (BERT) son inmunes a ella.
Benchmark de Razonamiento Lógico: Demostró que el ajuste fino de los LLM en operaciones de conjuntos simples (dos conjuntos) no se generaliza a composiciones lógicas complejas (tres conjuntos).
Comparación Arquitectónica: Proporcionó una comparación directa que muestra que, mientras los decodificadores sobresalen en la predicción de secuencias, los codificadores pueden ser superiores para tareas que requieren contexto bidireccional y clasificación de relaciones lógicas, siempre que la tarea pueda enmarcarse como tal.
Análisis de Sesgo: Identificó que los LLM a menudo dependen del emparejamiento de patrones superficiales (recordar tokens vistos) en lugar de la deducción lógica abstracta cuando se enfrentan a combinaciones novedosas de entidades conocidas.

Significado y Afirmaciones

El artículo concluye que la selección de una arquitectura de LLM (Codificador vs. Decodificador) debe estar impulsada por los requisitos lógicos específicos de la tarea.

Para Grafos de Conocimiento: Los autores advierten contra la dependencia exclusiva de modelos decodificadores autorregresivos para la construcción de grafos de conocimiento médicos o la realización de deducciones lógicas rigurosas (por ejemplo, intersecciones/uniones de conjuntos de términos ontológicos). La incapacidad de estos modelos para inferir de manera fiable las relaciones inversas o generalizar operaciones de conjuntos complejas sugiere que pueden actuar más como "asistentes de escritura" que replican patrones aprendidos, en lugar de "máquinas lógicas".
Para Tareas Lógicas: Las tareas que requieren deducción inversa o clasificación de relaciones bidireccionales son más adecuadas para codificadores bidireccionales como BERT.
Limitaciones: El estudio destaca que los LLM actuales, incluso tras el ajuste fino, carecen de la capacidad autónoma para deducir secuencias lógicas complejas (como $A \cap (B \cup C)$ ) sin exposición explícita a estructuras similares. Los autores sugieren que lograr un razonamiento lógico fiable en entornos de alto riesgo (por ejemplo, diagnóstico médico, demostraciones matemáticas) puede requerir algo más que el escalado de datos; puede necesitar algoritmos avanzados diseñados para mejorar la comprensión de la estructura lógica.