Multi-Hop Knowledge Composition is Bound by Pretraining Exposure

Resumen Técnico: La composición de conocimiento de múltiples saltos está limitada por la exposición durante el preentrenamiento

Planteamiento del problema
Los Grandes Modelos de Lenguaje (LLM) demuestran una alta fidelidad en el almacenamiento y la recuperación de conocimiento fáctico individual, pero fallan consistentemente en el razonamiento implícito de múltiples saltos (multi-hop) dentro de una sola pasada hacia adelante (forward pass). Un modelo puede responder correctamente "¿Cuándo nació X?" y "¿Quién es el amigo más cercano de Y?", pero fallar al responder "¿Cuándo nació el amigo más cercano de Y?", incluso cuando ambos hechos constitutivos están perfectamente memorizados. Este fenómeno, conocido como la brecha de composicionalidad (compositionality gap), persiste a través de diversas escalas y arquitecturas de modelos. Si bien las soluciones existentes externalizan el razonamiento mediante la cadena de pensamiento (chain-of-thought) o la descomposición durante la inferencia, sigue sin estar claro si el razonamiento composicional puede emerger únicamente a partir del preentrenamiento. Además, en modelos propietarios, la causa raíz es imposible de diagnosticar debido a que los datos de preentrenamiento no han sido revelados.

Metodología
Los autores investigan esta brecha utilizando un entorno de lenguaje natural controlado que separa estrictamente a los individuos expuestos a contextos composicionales durante el preentrenamiento de aquellos que no lo están.

1. Construcción del conjunto de datos: Basándose en el marco de biografías sintéticas de Allen-Zhu y Li (2024), los autores crearon un conjunto de datos de $N=100,000$ individuos, cada uno descrito por seis atributos (por ejemplo, fecha de nacimiento, ciudad de nacimiento) y relaciones direccionales de "amigo" y "enemigo".
2. Partición de la población: La población se divide en dos conjuntos disjuntos:
   • $P_{comp}$ (Composicional): Individuos cuyas relaciones apuntan exclusivamente a otros miembros de $P_{comp}$. Estos individuos son expuestos a contextos composicionales durante el preentrenamiento.
   • $P_{held}$ (Reservado): Individuos cuyas relaciones apuntan exclusivamente dentro de $P_{held}$. Crucialmente, estos individuos nunca aparecen como entidades intermedias (puente) en ninguna cadena composicional vista durante el preentrenamiento.
3. Preentrenamiento y aumentación: Los autores preentrenan modelos GPT-2 (Small, Medium, Large) desde cero. Introducen nueve estrategias distintas de aumentación centradas en los datos para $P_{comp}$, que varían a lo largo de dos ejes:
   • Formato: Lenguaje Natural (NL) frente a RDF (tripletas estructuradas).
   • Verbalización: Explícita (nombrando la entidad puente) frente a Implícita (omitiendo la entidad puente).
   • Todas las condiciones incluyen biografías atómicas de 1 salto con aumentación de permutación multi5p.
4. Protocolo de evaluación: Los modelos se ajustan (fine-tuned) con el 75% de $P_{comp}$ ($P^{train}_{comp}$) y se evalúan en el 25% restante ($P^{test}_{comp}$) y en el conjunto íntegro de $P_{held}$. La evaluación mide la precisión del primer token para consultas de 1, 2 y 3 saltos sin acceso a las entidades intermedias en el contexto.

Resultados clave
Los experimentos arrojan tres hallazgos principales:

1. La brecha de composicionalidad es un fallo de preentrenamiento: Incluso con una precisión de 1 salto casi perfecta (97%), los modelos obtienen cerca del 0% en consultas de 2 saltos para $P_{held}$ y solo ligeramente mejor para $P_{comp}$ bajo el entrenamiento base. Esto confirma que la brecha no es un límite de capacidad o una falta de conocimiento, sino un fallo al componer hechos durante el preentrenamiento.
2. La exposición en el preentrenamiento es una condición necesaria: El preentrenamiento composicional mejora significamente la respuesta a preguntas de múltiples saltos para individuos expuestos ($P^{test}_{comp}$), alcanzando una precisión de 2 saltos de hasta 0.83 bajo estrategias de aumentación específicas (por ejemplo, implícita + explícita NL-RDF). Sin embargo, ocurre una transferencia nula hacia $P_{held}$. Ninguna aumentación centrada en los datos compensa la ausencia de exposición de un individuo en un contexto composicional.
3. Aumentación Implícita vs. Explícita:
   • La aumentación implícita (donde se omite la entidad puente) supera consistentemente a la aumentación explícita (donde se nombra el puente) de forma aislada. Los formatos explícitos mejoran la localización del token puente (verificado mediante análisis de Logit Lens), pero no se traducen en éxito composicional.
   • Los enfoques híbridos (que mezclan señales implícitas y explícitas) ofrecen el mejor rendimiento en $P^{test}_{comp}$, lo que sugiere que la mezcla de señales mejora la alineación de representaciones.
   • Los formatos RDF (específicamente el RDF implícito) resultan altamente efectivos, logrando una alta precisión composicional con una fracción del costo de datos en comparación con NL.

Significación y Reivindicaciones
El artículo establece que la exposición a contextos composicionales durante el preentrenamiento es una condición necesaria para el razonamiento implícito de múltiples saltos. Los autores argumentan que la aumentación induce asociaciones específicas de entidades en lugar de una lógica de composición reutilizable y generalizable. En consecuencia, los modelos fallan al componer hechos para individuos que nunca han encontrado en un contexto de múltiples saltos, independientemente de la escala del modelo o las estrategias de ajuste fino.

El estudio desafía la noción de que el razonamiento composicional puede inducirse puramente mediante la aumentación de datos para entidades no vistas. Sugiere que, para lograr un razonamiento de múltiples saltos implícito, la distribución de entrenamiento debe incluir explícitamente las entidades específicas dentro de las cadenas relacionales requeridas. Los autores liberan su código y una reproducción del marco de biografías para apoyar futuras investigaciones sobre objetivos de entrenamiento o modificaciones arquitectónicas que puedan superar este límite fundamental.

Limitaciones
Los autores reconocen que su entorno es totalmente sintético y que la generalización a corpus naturales permanece sin probar. Señalan que, aunque sus experimentos utilizan escalas de GPT-2, se sabe que la brecha de composicionalidad persiste hasta los 175 mil millones de parámetros. Además, el estudio se centra en intervenciones centradas en los datos bajo un preentrenamiento estándar y no evalúa objetivos alternativos como el aprendizaje por refuerzo o la destilación de conocimiento.