Can LLMs Interpret and Leverage Structured Linguistic Representations? A Case Study with AMRs

1. Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham alcançado sucesso em várias tarefas de Processamento de Linguagem Natural (PLN), um desafio crítico permanece: sua capacidade de interpretar e utilizar representações semânticas estruturadas (como Representações de Significado Abstrato ou AMRs) que codificam a linguagem em formas concisas e abstratas.

• A Lacuna: Pesquisas anteriores focaram principalmente na modificação de arquiteturas neurais (por exemplo, adicionando mecanismos de atenção em grafos) para processar essas estruturas. Há uma falta de avaliação sistemática sobre se LLMs prontos para uso, ajustados por instruções, podem inerentemente interpretar AMRs linearizadas para melhorar o desempenho em tarefas downstream.
• A Questão: Os LLMs podem aproveitar efetivamente AMRs em prompts para aprimorar o raciocínio e a compreensão, particularmente em cenários de contexto longo, ou a abstração estrutural degrada o desempenho?

2. Metodologia

O estudo emprega um pipeline de avaliação sistemática utilizando versões quantizadas em 8 bits e ajustadas por instruções de três LLMs proeminentes: Llama 3.1 (8B), Phi-3 e Mistral 7B.

Dados e Pré-processamento

• Extração de AMR: Texto de vários conjuntos de dados foi convertido em estruturas de Representação de Significado Abstrato (AMR) (grafos direcionados e enraizados que capturam o significado semântico) usando os modelos AMR3-structbart-L e doc-sen-conll-amr-seed42 via o parser neural baseado em transição da IBM.
• Linearização: As AMRs baseadas em grafos foram convertidas em strings de texto linearizadas (achatarizadas) para servir como entrada para os LLMs.
• Conjuntos de Dados:
  • LDC2020T02: AMRs em nível de frase para regeneração de texto.
  • SQuAD 2.0 & HotpotQA: Para Resposta a Perguntas (QA) de um salto e dois saltos.
  • SAMSum: Para sumarização de diálogo (contexto longo).
  • SNLI & DocNLI: Para Inferência em Linguagem Natural (NLI).

Configuração Experimental

Os autores avaliaram três estratégias de prompting nos cenários zero-shot, 3-shot e 5-shot:

1. Apenas Contexto: Prompting padrão com o texto original.
2. Aumentado com AMR: Texto original + AMR linearizada no prompt.
3. Apenas AMR: Apenas AMR linearizada (sem texto original), testando a capacidade do modelo de inferir significado diretamente da estrutura.

Métricas de Avaliação

• Geração/Sumarização: ROUGE-1/2/L, BLEU e Semelhança Cosseno (usando embeddings all-MiniLM-L6-V2).
• QA: Pontuação F1.
• NLI: Pontuação F1 macro.

3. Principais Contribuições

1. Avaliação Sistemática: O primeiro estudo abrangente a avaliar a capacidade de LLMs modernos, ajustados por instruções, de aproveitar diretamente AMRs linearizadas sem modificações arquitetônicas.
2. Dicotomia do Comprimento do Contexto: A descoberta de que a integração de AMRs tem efeitos divergentes com base no comprimento do contexto: geralmente degrada o desempenho em tarefas de contexto curto, mas melhora o desempenho em tarefas de contexto longo.
3. Capacidade de Reconstrução de AMR: Demonstração de que os LLMs podem reconstruir efetivamente o texto original a partir de AMRs linearizadas, alcançando alta semelhança semântica (até 81% de semelhança cosseno).
4. Observações de Escala de Modelos: Os benefícios da augmentação com AMR são mais pronunciados em modelos maiores e mais recentes (por exemplo, Llama 3.1) em comparação com modelos menores ou mais antigos.

4. Principais Resultados

A. Tarefas de Contexto Curto (Degradação)

• QA de Um Salto (SQuAD 2.0): Adicionar AMRs ao prompt reduziu o desempenho. Para o Llama 3.1, a pontuação F1 caiu de 59% (apenas contexto) para 52% (aumentado com AMR) em configurações 3-shot.
• NLI (SNLI): Embora o Phi-3 tenha mostrado alguns ganhos zero-shot com AMRs, adicionar exemplos few-shot favoreceu o prompting apenas com contexto.
• HotpotQA (Dois Saltos): Apesar de ser um conjunto de dados de contexto longo, os documentos individuais eram pequenos. Empilhar múltiplas AMRs pequenas não melhorou o desempenho em relação ao prompting apenas com contexto, sugerindo que as AMRs são menos eficazes quando o contexto é fragmentado em unidades pequenas.

B. Tarefas de Contexto Longo (Melhoria)

• Sumarização de Diálogo (SAMSum): Este foi o caso de sucesso mais significativo.
  • Llama 3.1: A semelhança cosseno zero-shot melhorou de 66% (apenas contexto) para 76% (aumentado com AMR).
  • Mecanismo: As AMRs ajudaram o modelo a reter informações-chave e compreender dependências de longo prazo em diálogos extensos, que o texto bruto frequentemente obscurece devido a limites de tokens ou ruído.
  • Dependência do Modelo: Essa melhoria foi específica ao Llama 3.1, maior e mais recente; Phi-3 e Mistral não mostraram ganhos semelhantes.

C. Reconstrução de AMR (AMR para Texto)

• Os LLMs demonstraram uma forte capacidade de regenerar o texto original a partir de AMRs linearizadas.
• O Llama 3.1 alcançou uma semelhança cosseno de 81% com prompting 5-shot, indicando que os modelos podem efetivamente "ler" e interpretar a estrutura semântica das AMRs.

D. Ajuste Fino vs. Prompting

• Um experimento de ajuste fino Rank-32 LoRA no Llama 3.1 para sumarização SAMSum produziu resultados (75-76%) comparáveis ao prompting few-shot, mas não superou o desempenho da abordagem aumentada com AMR few-shot. Isso sugere que, para essas tarefas, a engenharia de prompts com AMRs é atualmente mais eficaz do que o ajuste fino leve.

5. Significado e Implicações

• Uso Estratégico de Dados Estruturados: O artigo estabelece que representações estruturadas como AMRs não são uma solução universal "plug-and-play". Elas são altamente eficazes para compreensão de contexto longo (sumarização, raciocínio complexo), onde a abstração semântica ajuda a filtrar ruído e destacar eventos centrais, mas introduzem ruído ou complexidade em tarefas de contexto curto, onde o texto bruto já é conciso.
• Evolução dos Modelos: Os resultados sugerem que LLMs mais novos e maiores possuem uma capacidade latente de interpretar estruturas semânticas complexas, uma capacidade que escala com o tamanho do modelo e a recência do treinamento.
• Direções Futuras: O trabalho abre caminhos para a integração de outras representações estruturadas (por exemplo, Grafos de Conhecimento, Estruturas de Representação de Discurso) em pipelines de LLM, particularmente para geração aumentada por recuperação (RAG) e análise de documentos longos, sem exigir arquiteturas neurais personalizadas.

Conclusão

O estudo conclui que, embora os LLMs possam interpretar AMRs linearizadas, sua utilidade é dependente da tarefa. A augmentação com AMR é uma ferramenta poderosa para aprimorar tarefas de contexto longo, como sumarização de diálogos, aumentando significativamente o desempenho em modelos de última geração, mas deve ser evitada em tarefas de contexto curto, onde pode degradar o desempenho.