Resumo Técnico: Controlling Authority Retrieval (CAR)

1. O Problema: A Falha na Recuperação de Autoridade

Em domínios onde o conhecimento é governado por autoridade formal (como leis, regulamentação de medicamentos, segurança de software), documentos posteriores podem anular formalmente documentos anteriores, mesmo que semanticamente distantes.

O problema central identificado é que os sistemas de recuperação de informação (RAG) padrão otimizam a relevância semântica ($s(q, d)$), ignorando a relação de supersessão ($d_1 \rightsquigarrow d_2$).

• Cenário: Um engenheiro pergunta se uma vulnerabilidade (CVE) ainda está "sem correção". O documento mais relevante semanticamente é a divulgação da vulnerabilidade (que descreve o problema). O documento que contém a resposta correta é a nota de correção (patch), que usa vocabulário diferente (ex: "versão 4.17.12 corrigida").
• Falha: Sistemas densos (baseados em embeddings) recuperam a divulgação (alta similaridade semântica) e ignoram a nota de correção (baixa similaridade), levando a respostas erradas e perigosas (ex: afirmar que o sistema está vulnerável quando já foi corrigido).

O artigo define formalmente essa tarefa como Controlling Authority Retrieval (CAR): recuperar a "fronteira ativa" ($front(cl(A_k(q)))$) do fecho de autoridade do conjunto de âncoras semânticas, em vez de apenas os documentos mais similares à consulta.

2. Metodologia e Formalização

Definições Chave

• Base de Conhecimento Temporizada: Documentos $d$ possuem timestamp, escopo de entidade ($\sigma$) e texto.
• Relação de Supersessão ($\rightsquigarrow$): Um documento $d_2$ anula $d_1$ se tiver o mesmo escopo de entidade, for posterior no tempo e obedecer a regras de domínio específicas.
• Fecho de Autoridade ($cl(A)$): O conjunto de documentos que inclui as âncoras semânticas e todos os documentos que as anulam.
• Fronteira Ativa ($front(S)$): O conjunto de documentos máximos (não anulados) dentro de um conjunto $S$.
• Objetivo CAR: Recuperar $C^*_k(q) = front(cl(A_k(q)))$, onde $A_k(q)$ são os $k$ documentos mais semanticamente relevantes (âncoras).

Métrica de Avaliação: TCA (Temporal Compliance Accuracy)

A métrica proposta, TCA, difere do Recall@k padrão. Para um sistema obter TCA = 1, ele deve satisfazer duas condições simultâneas:

1. Inclusão da Fronteira: Todos os documentos ativos (não anulados) devem estar no conjunto recuperado.
2. Nenhum Supressor Ignorado: Se um documento recuperado foi anulado, o documento que o anulou também deve estar no conjunto recuperado.

O TCA mede a "segurança de conformidade", garantindo que a resposta seja baseada apenas em documentos válidos.

3. Principais Contribuições Teóricas

O artigo apresenta uma série de teoremas que caracterizam matematicamente o problema:

• Teorema 1 (Desacoplamento de Objetivos): Prova que TCA e Recall@k são desacoplados. É possível ter Recall@k = 1 (recuperar o documento correto) e TCA = 0 (se o documento anulado também estiver presente sem o anulador, ou se o anulador não for recuperado). Em cenários com alta divergência semântica ($\Delta(q) > 0$), a relevância semântica é insuficiente.
• Teorema 4 (Caracterização de Corretude): Estabelece condições necessárias e suficientes para TCA = 1: a recuperação deve incluir a fronteira ativa e não ignorar nenhum supressor. Isso é independente de como o conjunto foi gerado.
• Teorema 2 (Necessidade de Fecho): Qualquer sistema que alcance TCA = 1 deve realizar uma busca proativa baseada em entidade. Não basta buscar por similaridade; o sistema deve usar o escopo da entidade (ex: ID do CVE, nome do medicamento) para buscar documentos posteriores, independentemente da similaridade textual.
• Proposição 2 (Limite Superior de Identificabilidade): Para algoritmos que não têm acesso direto à relação de autoridade (algoritmos "indexados por escopo"), existe um teto de desempenho duro: $TCA@k \leq \phi(q) \cdot R_{anchor}(q)$. Onde $\phi(q)$ é a identificabilidade do escopo. Se houver ambiguidade (múltiplas cadeias de autoridade para o mesmo escopo), o erro é inevitável sem regras de domínio.
• Proposição 1 (Fatorização de Erros): O TCA pode ser decomposto em três fatores independentes:
  $$TCA = R_{anchor} \cdot \phi \cdot R_{frontier}$$
  Isso permite diagnosticar falhas específicas: falha em recuperar a âncora, falha em desambiguar o escopo, ou falha em resolver a fronteira.

4. Arquitetura Proposta: Pipeline de Duas Etapas

Baseado nos teoremas, os autores propõem uma arquitetura simples e eficaz:

1. Etapa 1 (Descoberta da Âncora): Recuperar documentos semanticamente alinhados à consulta (ex: a divulgação da vulnerabilidade ou a aprovação do medicamento) usando um recuperador padrão (BM25 ou Densidade).
2. Etapa 2 (Resolução de Autoridade): Usar o escopo da entidade extraído da âncora (ex: CVE-ID, nome do fármaco) para buscar no índice de entidade todos os documentos posteriores relacionados.
3. Filtragem: Aplicar regras de domínio (via um grafo de supersessão recuperado, RSSG) para identificar quais documentos na Etapa 2 anulam os da Etapa 1, mantendo apenas a fronteira ativa.

5. Resultados Empíricos

Os autores validaram a teoria em três corpora reais e diversos benchmarks sintéticos:

Domínios Testados

1. Segurança (GHSA/CVE): Consultas sobre vulnerabilidades vs. notas de correção.
2. Jurídico (SCOTUS): Consultas sobre precedentes legais vs. decisões que os anulam.
3. Médico/Regulatório (FDA): Aprovações de drogas vs. ordens de recall.

Desempenho Comparativo

• Recuperação Densa (Embeddings): Falha catastrófica.
  • GHSA: TCA@5 = 0.270
  • SCOTUS: TCA@5 = 0.172
  • FDA: TCA@5 = 0.064
  • Observação: Modelos maiores (E5-large, 335M parâmetros) performaram pior que modelos menores (MiniLM, 22M) porque a similaridade semântica reforça a conexão com o documento errado (a divulgação), ignorando a correção.
• Pipeline de Duas Etapas (Two-Stage):
  • GHSA: TCA@5 = 0.975
  • SCOTUS: TCA@5 = 0.926
  • FDA: TCA@5 = 0.774
  • O sistema supera consistentemente as abordagens baseadas apenas em similaridade, demonstrando que a arquitetura é o fator crítico, não o tamanho do modelo.

Impacto em LLMs (GPT-4o-mini)

Um experimento downstream mostrou o custo prático da falha:

• Com recuperação densa, o LLM afirmou explicitamente que vulnerabilidades não estavam corrigidas em 39% dos casos (quando na verdade estavam).
• Com o Two-Stage, esse erro caiu para 16.4%.

6. Significado e Conclusão

O artigo demonstra que a recuperação de conhecimento em domínios governados por autoridade é um problema estrutural, não apenas de tuning de modelos.

• Limitação Fundamental: A similaridade semântica é insuficiente e, às vezes, prejudicial quando o documento correto tem vocabulário disjunto do documento errado (divergência semântico-autoridade).
• Solução Arquitetônica: A solução não é treinar embeddings maiores, mas sim mudar a arquitetura para incluir busca baseada em entidade e resolução de autoridade.
• Generalização: A estrutura teórica (Teorema 4) fornece condições de auditoria para qualquer futuro sistema de RAG em domínios regulatórios, legais ou de segurança.

O trabalho conclui que para garantir conformidade e precisão em ambientes onde "o novo anula o velho", os sistemas de IA devem abandonar a busca puramente semântica em favor de uma abordagem híbrida que prioriza a estrutura de autoridade e o escopo da entidade.