Resumo Técnico: Dependência de Contexto e Confiabilidade em Modelos de Linguagem Autorregressivos

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) autorregressivos geram saídas condicionadas a contextos extensos e estruturados que frequentemente contêm instruções redundantes, fatos repetidos, passagens recuperadas e histórico de interação. Em aplicações críticas (por exemplo, domínios médicos ou jurídicos), é essencial identificar quais elementos específicos do contexto são verdadeiramente responsáveis por uma saída. No entanto, os métodos de explicação padrão — como visualização de atenção, saliência de gradiente e ablação baseada em perturbação — enfrentam dificuldades com essa tarefa em cenários de redundância.

O problema central é a redundância de contexto. Quando múltiplos elementos de contexto transmitem informações sobrepostas ou idênticas, os métodos existentes costumam atribuir o crédito de forma incorreta. Eles podem distribuir a importância igualmente entre duplicatas, sugerindo que múltiplas fontes independentes eram necessárias quando apenas uma era suficiente. Além disso, esses métodos exibem instabilidade: pequenas mudanças na estrutura da entrada (por exemplo, reordenar fragmentos recuperados ou parafrasear instruções) podem causar deslocamentos imprevisíveis nos escores de atribuição, mesmo que a saída do modelo permaneça idêntica. Essa sensibilidade compromete a interpretabilidade e cria riscos de segurança, como em cenários de injeção de prompt, onde instruções maliciosas repetidas na memória ou no contexto podem ser erroneamente creditadas como influentes.

O artigo argumenta que o modo de falha fundamental é a falta de consciência de dependência. Os métodos atuais frequentemente medem a importância marginal ou correlações superficiais, em vez da contribuição única e condicional de um elemento de contexto dado o restante do prompt.

Metodologia: RISE

Para enfrentar esses desafios, os autores propõem o RISE (Redundancy-Insensitive Scoring of Explanation), um método projetado para quantificar a influência única de cada elemento de entrada condicionada ao restante do contexto.

Conceito Central: Dependência Única Condicional (CUD)

O RISE fundamenta-se na teoria da informação. Em vez de medir o quanto uma unidade de contexto $C_i$ correlaciona-se com a saída $\hat{T}$, ele mede a Dependência Única Condicional (CUD):
$$\Delta_i \triangleq I(C_i; \hat{T} \mid C_{\setminus i})$$
onde $I(\cdot)$ denota informação mútua condicional, $C_i$ é uma unidade de contexto específica (por exemplo, uma instrução do sistema, um fragmento recuperado ou um turno de diálogo), e $C_{\setminus i}$ representa todas as outras unidades de contexto. Esta métrica quantifica a informação que $C_i$ fornece sobre a geração que não pode ser recuperada a partir do contexto restante.

O Escore RISE

Para permitir a comparação entre unidades, os valores de CUD são normalizados em um escore RISE:
$$\text{RISE}(C_i) = \frac{\text{CUD}(C_i; \hat{T} \mid C_{\setminus i})}{\sum_{j=1}^m \text{CUD}(C_j; \hat{T} \mid C_{\setminus j}) + \epsilon}$$
Esta formulação garante que:

1. Supressão de Redundância: Se uma unidade é uma duplicata de outra (ou totalmente recuperável a partir do restante), sua informação mútua condicional é zero, e ela recebe atribuição zero.
2. Estabilidade: Adicionar contexto redundante não altera os escores de atribuição das unidades originais e informativas.
3. Granularidade de Nível de Contexto: O RISE opera em unidades de contexto estruturadas (por exemplo, segmentos de prompt, fragmentos de RAG) em vez de tokens individuais, tornando-o adequado para auditar pipelines complexos.

Variantes de Implementação

O artigo descreve duas implementações deste princípio:

1. RISE-Lite: Um módulo de pontuação leve e agnóstico ao modelo que computa escores conscientes de dependência para auditoria e monitoramento sem modificar o modelo.
2. Seletor Aprendido Integrado: Uma rede de portão (gating network) treinável que utiliza o princípio da dependência para selecionar um subconjunto esparso de unidades de contexto (mantendo uma janela recente obrigatória e os $K$ principais âncoras únicas) durante a inferência. Isso reduz a dimensionalidade da entrada enquanto preserva a informação essencial.

Principais Contribuições

1. Identificação da Redundância como um Modo de Falha: Os autores identificam que os métodos de explicação padrão falham ao distinguir entre contexto essencial e mera repetição, levando à "supercreditação" de distratores e à instabilidade sob paráfrase ou reordenação.
2. Atribuição Consciente de Dependência: O artigo propõe a informação condicional como uma base principiológica para uma atribuição confiável, introduzindo o RISE para avaliar a importância de unidades de contexto estruturadas com base em sua contribuição única.
3. Validação Empírica: Através de experimentos controlados em prompting redundante e Geração Aumentada de Recuperação (RAG), os autores demonstram que o RISE produz explicações significativamente mais estáveis e robustas do que os métodos tradicionais baseados em perturbação, especificamente ao reduzir a inflação de importância causada pela redundância.

Resultados Experimentais

Os autores avaliaram o RISE contra heurísticas baseadas em atenção e baselines baseados em perturbação (por exemplo, LOUO) usando GPT-2 e modelos autorregressivos de pesos abertos no dataset SQuAD v1.1 e testes de redundância sintética.

• Sensibilidade à Redundância: Os métodos baseline mostraram alto "Dup-Split" (fragmentação de crédito entre duplicatas) e sensibilidade a mudanças de forma superficial. Em contraste, o RISE manteve um baixo Dup-Split, suprimindo efetivamente o crédito para unidades redundantes.
• Estabilidade vs. Fidelidade: Enquanto os métodos de atenção mostraram alta estabilidade de ranking (devido à difusão de crédito entre duplicatas) e os métodos de perturbação mostraram alta estabilidade (frequentemente colapsando em unidades estruturalmente necessárias como a pergunta), o RISE priorizou a invariância à redundância. Ele intencionalmente realocou o crédito de cópias redundantes para unidades unicamente informativas.
• Dominância Estrutural: Descobriu-se que métodos baseados em perturbação colapsam na unidade "Pergunta" porque removê-la interrompe a geração independentemente da evidência semântica. O RISE-Lite evitou isso ao condicionar na unidade de contexto restante, identificando corretamente a evidência informativa mesmo quando a pergunta estava presente.
• Fidelidade: Em testes de remoção, o RISE demonstrou um gap de fidelidade positivo, indicando que remover as unidades de maior ranking reduzia significativamente a probabilidade da resposta correta, enquanto os métodos baseados em atenção mostraram gaps negativos.

Significância e Alegações

O artigo alega que a consciência de dependência é crítica para construir sistemas de IA confiáveis. Ao deslocar a atribuição de associações superficiais para a verdadeira dependência condicional, o RISE aborda três modos de falha específicos:

1. Supercreditação de Distratores: Evitando a ilusão de que múltiplas fontes independentes concordaram quando a informação era meramente duplicada.
2. Instabilidade: Garantindo que as explicações permaneçam consistentes apesar de paráfrases ou reordenações do contexto.
3. Suscetibilidade à Manipulação: Reduzindo o risco de que instruções maliciosas injetadas ou repetidas sejam erroneamente creditadas como influentes.

Os autores enfatizam que o RISE não requer acesso aos mecanismos internos do modelo (como neurônios ou cabeças de atenção) e depende exclusivamente do comportamento observável de entrada-saída, tornando-o adequado para monitoramento em tempo real, auditoria e intervenções de segurança em sistemas agentes e RAG. O trabalho conclui que suprimir a redundância não remove a informação essencial, mas impede que a importância escale com a repetição, gerando explicações que refletem a dependência única em vez da frequência.