When Models Know More Than They Say: Probing Analogical Reasoning in LLMs

1. Problema e Motivação

O raciocínio analógico é uma faculdade cognitiva fundamental para a compreensão narrativa, permitindo mapear estruturas de uma situação familiar para uma nova. Embora os Grandes Modelos de Linguagem (LLMs) performem bem quando as pistas de superfície e estruturais estão alinhadas, eles frequentemente falham em analogias que exigem informações latentes e abstrações profundas, sugerindo limitações na generalização.

A questão central do trabalho é: os LLMs internalizam verdadeiramente estruturas tipológicas e esquemas narrativos, ou estão apenas explorando correlações superficiais? Além disso, existe uma lacuna na compreensão de como as representações internas dos modelos (o que eles "sabem") se relacionam com seu comportamento induzido por prompts (o que eles "dizem" ou conseguem executar).

2. Metodologia

Os autores introduzem o NARB (Narrative Analogical Reasoning Benchmark), um conjunto de tarefas de benchmark projetado para sondar o raciocínio analógico em textos literários. A metodologia combina duas abordagens principais:

A. Tarefas de Benchmark

O NARB avalia dois tipos de paralelismo:

1. Paralelismo Narrativo: Identificar correspondências estruturais sistemáticas entre histórias completas (ex: duas histórias diferentes que ilustram o mesmo provérbio, mas com cenários e vocabulários distintos).
2. Paralelismo Retórico: Reconhecer simetrias estilísticas e semânticas localizadas dentro de um documento (ex: inversões sintáticas ou antíteses em sermões).

Os dados são provenientes de dois conjuntos:

• ARN (Analogical Reasoning over Narratives): Histórias curtas baseadas em provérbios.
• ASP (Augustinian Sermon Parallelism): Sermões em latino com anotações de estrutura retórica.

B. Abordagem Experimental: Sondagem vs. Prompting

O estudo compara diretamente o desempenho de dois métodos:

1. Sondagem (Probing): Os autores extraem as representações internas (ativações) de camadas específicas de modelos LLaMA 3 (1B, 3B e 8B) e treinam classificadores leves (regressão logística, MLP) para decodificar a informação analógica. Isso revela o que está codificado nos estados internos do modelo.
2. Prompting: Os mesmos modelos são solicitados a realizar as tarefas de classificação/ranqueamento via prompts de linguagem natural (incluindo modelos de código aberto e fechados como GPT-5.2 e Claude Opus).

C. Configuração

• Modelos: LLaMA 3 (1B, 3B, 8B) e modelos proprietários.
• Métricas: Mean Average Precision (MAP), Mean Reciprocal Rank (MRR) e Acurácia.
• Análise de Camadas: Investigação de em qual profundidade da rede as informações analógicas são mais fortes.

3. Principais Contribuições

1. Benchmark NARB: Uma nova suite de tarefas para avaliar o raciocínio analógico em textos literários, indo além de tarefas superficiais de similaridade.
2. Diagnóstico de Assimetria: A descoberta de uma dissociação dependente da tarefa entre o que o modelo codifica internamente e o que ele consegue expressar via prompting.
3. Validação de Sondagem: Demonstração de que a sondagem pode revelar capacidades ocultas em modelos de código aberto que não são acessíveis através de prompts padrão, sugerindo que a avaliação baseada apenas em prompts pode subestimar as capacidades do modelo.

4. Resultados Chave

A. Paralelismo Retórico (Alta Performance na Sondagem, Baixa no Prompting)

• Sondagem: Modelos de código aberto (LLaMA 1B) alcançaram um MAP de ~0.93 na sondagem, indicando que a estrutura retórica está fortemente codificada e linearmente decodificável nas representações internas.
• Prompting: O mesmo modelo obteve apenas MAP de ~0.18 quando solicitado a realizar a tarefa via prompt.
• Conclusão: Existe uma "assimetria" massiva. O modelo "sabe" a resposta (está nos pesos/ativações), mas falha em "recrutar" esse conhecimento através de instruções de linguagem. Modelos fechados (GPT-5.2, Claude) conseguiram performance próxima à da sondagem (~0.90), indicando que a limitação está na interface de prompting dos modelos abertos, não na tarefa em si.
• Observação: A performance na sondagem foi dominada pela proximidade espacial (distância entre os spans), sugerindo que a estrutura retórica é fortemente dependente de localidade.

B. Paralelismo Narrativo (Baixa Performance em Ambos)

• Sondagem e Prompting: Ambos os métodos convergiram para um desempenho baixo (MAP ~0.35).
• Conclusão: Diferente do caso retórico, a analogia narrativa não é apenas inacessível via prompt; ela é fracamente codificada nas representações internas dos modelos. Isso sugere que o raciocínio narrativo complexo requer abstrações que os modelos atuais ainda não internalizaram plenamente.

C. Análise de Camadas

• Retórico: A informação mostra uma progressão clara, com camadas tardias (8-15) alcançando performance superior (>0.90), embora o sinal de localidade já esteja presente nas camadas iniciais.
• Narrativo: A informação está distribuída uniformemente entre as camadas, sem um pico de performance em camadas específicas, indicando que a estrutura narrativa não é capturada por um único nível de abstração profunda.

5. Significado e Implicações

O artigo oferece insights críticos para a interpretabilidade e avaliação de LLMs:

1. Limitações do Prompting: Avaliar LLMs apenas através de prompts pode levar a conclusões errôneas sobre suas capacidades reais, especialmente em tarefas estruturais onde o conhecimento está presente internamente, mas não é acessível via instrução natural.
2. Natureza do Conhecimento: A distinção entre "saber" (codificação interna) e "fazer" (comportamento induzido) é dependente da tarefa. Para tarefas retóricas, o modelo sabe muito mas não consegue dizer; para tarefas narrativas complexas, o modelo nem sabe o suficiente.
3. Validade da Sondagem: A concordância entre sondagem e prompting em tarefas narrativas (ambos baixos) valida a sondagem como uma ferramenta diagnóstica. A discordância em tarefas retóricas (alta sondagem, baixo prompting) revela limitações na interface de geração de texto dos modelos.
4. Futuro da Pesquisa: Sugere que o desenvolvimento de modelos deve focar não apenas em aumentar a capacidade de codificação de estruturas complexas, mas também em melhorar a "acessibilidade" dessas estruturas através de mecanismos de prompting e alinhamento.

Em resumo, o trabalho demonstra que os modelos podem conter representações ricas de raciocínio analógico que permanecem "invisíveis" para o usuário final quando se utiliza apenas prompts, destacando a necessidade de usar sondagem e prompting em conjunto para uma avaliação holística das capacidades dos LLMs.