Multi-Hop Knowledge Composition is Bound by Pretraining Exposure

Resumo Técnico: A Composição de Conhecimento Multi-salto é Limitada pela Exposição no Pré-treinamento

Enunciado do Problema
Grandes Modelos de Linguagem (LLMs) demonstram alta fidelidade no armazenamento e recuperação de conhecimentos fatuais individuais, mas falham consistentemente em raciocínio implícito de múltiplos saltos (multi-hop) em uma única passagem direta (forward pass). Um modelo pode responder corretamente a "Quando X nasceu?" e "Quem é o amigo mais próximo de Y?", mas falhar ao responder "Quando nasceu o amigo mais próximo de Y?", mesmo quando ambos os fatos constituintes estão perfeitamente memorizados. Este fenômeno, conhecido como a lacuna de composicionalidade (compositionality gap), persiste através de diferentes escalas e arquiteturas de modelos. Embora soluções existentes externalizem o raciocínio via cadeia de pensamento (chain-of-thought) ou decomposição durante a inferência, permanece incerto se o raciocínio composicional pode emergir unicamente do pré-treinamento. Além disso, em modelos proprietários, a causa raiz é indiagnosticável devido aos dados de pré-treinamento não divulgados.

Metodologia
Os autores investigam esta lacuna usando um ambiente de linguagem natural controlado que separa estritamente indivíduos expostos a contextos composicionais durante o pré-treinamento daqueles que não foram.

1. Construção do Dataset: Baseando-se na estrutura de biografia sintética de Allen-Zhu e Li (2024), os autores criaram um conjunto de dados de $N=100.000$ indivíduos, cada um descrito por seis atributos (ex: data de nascimento, cidade de nascimento) e relações direcionais de "amigo" e "inimigo".
2. Particionamento da População: A população é dividida em dois conjuntos disjuntos:
   • $P_{comp}$ (Composicional): Indivíduos cujas relações apontam exclusivamente para outros membros de $P_{comp}$. Estes indivíduos são expostos a contextos composicionais durante o pré-treinamento.
   • $P_{held}$ (Retido/Held-out): Indivíduos cujas relações apontam exclusivamente dentro de $P_{held}$. Crucialmente, estes indivíduos nunca aparecem como entidades intermediárias (pontes) em qualquer cadeia composicional vista durante o pré-treinamento.
3. Pré-treinamento e Aumento de Dados: Os autores pré-treinam modelos GPT-2 (Small, Medium, Large) do zero. Eles introduzem nove distintas estratégias de aumento centradas em dados para $P_{comp}$, variando ao longo de dois eixos:
   • Formato: Linguagem Natural (NL) vs. RDF (triplas estruturadas).
   • Verbalização: Explícita (nomeando a entidade ponte) vs. Implícita (omitindo a entidade ponte).
   • Todas as condições incluem biografias atômicas de 1 salto com aumento de permutação multi5p.
4. Protocolo de Avaliação: Os modelos são ajustados (fine-tuned) em 75% de $P_{comp}$ ($P^{train}_{comp}$) e avaliados no restante de 25% de $P_{comp}$ ($P^{test}_{comp}$) e no inteiramente inédito $P_{held}$. A avaliação mede a precisão do primeiro token para consultas de 1 salto, 2 saltos e 3 saltos sem acesso às entidades intermediárias no contexto.

Resultados Principais
Os experimentos produzem três descobertas primárias:

1. A Lacuna de Composicionalidade é uma Falha de Pré-treinamento: Mesmo com precisão de 1 salto quase perfeita (97%), os modelos pontuam próximo a 0% em consultas de 2 saltos para $P_{held}$ e apenas marginalmente melhor para $P_{comp}$ sob o treinamento base. Isso confirma que a lacuna não é um limite de capacidade ou falta de conhecimento, mas uma falha em compor fatos durante o pré-treinamento.
2. A Exposição no Pré-treinamento é uma Condição Necessária: O pré-treinamento composicional melhora significativamente o QA multi-salto para questões inéditas para indivíduos expostos ($P^{test}_{comp}$), com a precisão de 2 saltos atingindo até 0,83 sob estratégias de aumento específicas (ex: implícito + explícito NL-RDF). No entanto, ocorre zero transferência para $P_{held}$. Nenhum aumento centrado em dados compensa a ausência de exposição de um indivíduo em um contexto composicional.
3. Aumento Implícito vs. Explícito:
   • O aumento implícito (onde a entidade ponte é omitida) supera consistentemente o aumento explícito (onde a ponte é nomeada) de forma isolada. Formatos explícitos melhoram a localização do token da ponte (verificado via análise Logit Lens), mas não se traduzem em sucesso composicional.
   • Abordagens híbridas (misturando sinais implícitos e explícitos) produzem o melhor desempenho em $P^{test}_{comp}$, sugerindo que a mistura de sinais melhora o alinhamento de representação.
   • Formatos RDF (especificamente o RDF implícito) provam ser altamente eficazes, alcançando alta precisão composicional com uma fração do custo de dados em comparação ao NL.

Significância e Alegações
O artigo estabelece que a exposição a contextos composicionais durante o pré-treinamento é uma condição necessária para o raciocínio implícito de múltiplos saltos. Os autores argumentam que o aumento induz associações específicas de entidades em vez de uma lógica de composição reutilizável e generalizável. Consequentemente, os modelos falham em compor fatos para indivíduos que nunca encontraram em um contexto de múltiplos saltos, independentemente da escala do modelo ou das estratégias de ajuste fino.

O estudo desafia a noção de que o raciocínio composicional pode ser induzido puramente através do aumento de dados para entidades não vistas. Sugere que, para alcançar o raciocínio multi-salto implícito, a distribuição de treinamento deve incluir explicitamente as entidades específicas dentro das cadeias relacionais exigidas. Os autores liberam seu código e uma reprodução da estrutura de biografia para apoiar investigações futuras sobre objetivos de treinamento ou modificações arquitetônicas que possam superar este limite fundamental.

Limitações
Os autores reconhecem que seu cenário é totalmente sintético e que a generalização para corpora naturais permanece não testada. Eles observam que, embora seus experimentos utilizem escalas GPT-2, a lacuna de composicionalidade é conhecida por persistir até 175 bilhões de parâmetros. Adicionalmente, o estudo foca em intervenções centradas em dados sob pré-treinamento padrão e não avalia objetivos alternativos como aprendizagem por reforço ou destilação de conhecimento.