C$^2$-Cite: Contextual-Aware Citation Generation for Attributed Large Language Models

1. Problema Identificado

O artigo aborda um desafio crítico nos Modelos de Linguagem de Grande Escala (LLMs) atribuídos (aqueles que geram citações para fontes externas): a falta de consciência contextual dos símbolos de citação.

• Limitação Atual: LLMs instruídos (instruction-tuned) existentes frequentemente tratam marcadores de citação (ex: [1], [i]) como placeholders genéricos e passivos, sem compreender a semântica do conteúdo ao qual se referem.
• Consequências: Isso leva a:
  • Referências desconexas e desalinhadas.
  • Integração pobre do conhecimento recuperado no conteúdo gerado.
  • Geração de citações fictícias ou incorretas.
  • Degradação na qualidade e coerência da resposta final, pois o modelo foca excessivamente no símbolo em vez do fluxo semântico.

2. Metodologia: O Framework C2-Cite

Os autores propõem o C2-Cite, um novo framework de fine-tuning que transforma marcadores de citação passivos em "ponteiros de conhecimento ativos" através de três componentes principais:

A. Embedding Consciente do Contexto (Contextual-Aware Embedding)

• Mecanismo: Em vez de usar embeddings padrão para os tokens de citação, o modelo normaliza os marcadores (ex: converte [i] para um token especial ⟨cᵢ⟩) e substitui seu embedding simbólico por uma embedding contextual.
• Funcionamento: A embedding contextual é calculada a partir do documento recuperado correspondente (d[i]) usando mean-pooling dos embeddings dos tokens do documento.
• Objetivo: Permitir que o token de citação carregue diretamente a informação semântica do documento de origem, facilitando o grounding (ancoragem) da fonte durante a geração.

B. Alinhamento de Citação Contextual (Contextual Citation Alignment)

• Mecanismo: Introduz um Classificador de Roteador de Citação (Citation Router) e um mecanismo de alinhamento.
• Funcionamento:
  1. O roteador (um classificador binário) decide se um token gerado é um token padrão ou um token de citação.
  2. Para tokens de citação, o modelo mapeia o estado oculto para um espaço de citação e compara com as embeddings contextuais dos documentos candidatos.
  3. O objetivo é classificar o token de citação no número de documento correto com base na similaridade semântica, minimizando a perda de Cross-Entropy.
• Objetivo: Garantir que o modelo aprenda a associar o símbolo [i] especificamente ao conteúdo semântico do documento i.

C. Augmentação Atencional Contextual (Contextual Attentive Augment)

• Mecanismo: Uma função de perda adicional que força o modelo a prestar atenção nas citações geradas anteriormente ao produzir novos tokens.
• Funcionamento: Restringe a pontuação de atenção entre um token padrão subsequente e um token de citação anterior para aproximar-se de uma pontuação alvo, que decai com a distância, mas mantém uma conexão forte.
• Objetivo: Melhorar a coerência semântica entre frases separadas por citações, evitando que a inserção do marcador quebre o fluxo do texto.

Função de Perda Total: O modelo é otimizado combinando a perda padrão de geração de LLM (L_default) com as perdas de alinhamento de citação, roteamento e atenção atencional, ponderadas por coeficientes ($\alpha, \beta, \gamma$).

3. Principais Contribuições

1. Novo Framework (C2-Cite): Uma abordagem de fine-tuning que modela explicitamente as relações semânticas entre marcadores de citação e seu conteúdo referenciado.
2. Transformação de Símbolos: Inovação ao converter marcadores de citação de placeholders passivos para ponteiros de conhecimento ativos através de embeddings contextuais e alinhamento.
3. Mecanismo de Alinhamento: Integração de componentes de embedding e alinhamento que melhoram significativamente a qualidade tanto da citação quanto da resposta.
4. Avaliação Abrangente: Validação robusta no benchmark ALCE, demonstrando superioridade sobre métodos de In-Context Learning (P-ICL, I-ICL) e outros métodos de Fine-Tuning (SOTA).

4. Resultados Experimentais

Os experimentos foram realizados no benchmark ALCE (Automatic LLM Citation Evaluation) utilizando três conjuntos de dados: ASQA, ELI5 e QAMPARI, com base no modelo Llama3-8B.

• Desempenho Geral: O modelo C2-Cite++ superou a linha de base SOTA (modelo Front) em todos os conjuntos de dados.
  • Qualidade de Citação (Citation-F1): Melhoria média de 5.8%.
  • Correção da Resposta (Response Correctness): Melhoria média de 17.4%.
• Eficiência: O C2-Cite++ alcançou a maior Throughput (amostras/segundo) entre os modelos comparados, mantendo alta eficácia com menor custo computacional em comparação a métodos iterativos.
• Estudos de Ablação:
  • A remoção do Contextual-Aware Embedding causou uma queda drástica de 25.6% na F1 de citação e 21.7% na correção, provando sua importância crítica.
  • A remoção da Augmentação Atencional resultou em quedas de 17% e 5.2% respectivamente, destacando seu papel na coerência.
• Análise de Coerência: O estudo mostrou que métodos tradicionais de fine-tuning com dados de citação podem degradar a qualidade da resposta (devido à interrupção de padrões pré-treinados), enquanto o C2-Cite mitiga esse efeito ao integrar o contexto da citação.

5. Significado e Impacto

O trabalho C2-Cite representa um avanço significativo na confiabilidade dos LLMs:

• Solução para "Alucinação de Citação": Ao tratar citações como vetores semânticos ativos e não apenas como tokens sintáticos, o modelo reduz a geração de referências falsas.
• Coerência Textual: Resolve o problema de descontinuidade semântica que ocorre quando citações são inseridas, garantindo que o texto gerado flua naturalmente mesmo com referências externas.
• Aplicabilidade Prática: Oferece um método eficiente (single-pass generation) que não depende de pipelines complexos de pós-processamento ou múltiplas iterações, tornando-o viável para aplicações em tempo real onde a verificação de fontes é crucial (ex: pesquisa acadêmica, jornalismo, suporte ao cliente).

Em resumo, o C2-Cite estabelece um novo padrão para a geração atribuída, provando que a integração profunda da semântica da fonte no processo de geração do modelo é essencial para a credibilidade e qualidade das respostas dos LLMs.