Text Corpora as Concept Fields: Black-Box Hallucination and Novelty Measurement

Resumo Técnico: Corpos de Texto como Campos Conceituais

Declaração do Problema
Os métodos atuais para detectar alucinações de LLMs ou avaliar a fundamentação frequentemente dependem de internos de modelos de caixa-branca, métricas de perplexidade de caixa-cinza ou abordagens de caixa-preta que exigem calibração pesada (por exemplo, LLM como juiz). Essas soluções existentes são frequentemente caras, dependentes de arquitetura ou carecem de interpretabilidade operacional. Além disso, muitas abordagens geométricas no espaço de incorporação limitam-se a comparações par a par (por exemplo, DTW) ou carecem de um mecanismo para contabilizar a incerteza local dentro de um corpo de texto. Os autores propõem uma mudança de ver a alucinação como uma falha binária para um conceito mais amplo de fundamentação: se uma saída é suportada por um corpo de texto alvo. Essa estrutura se aplica tanto à conformidade (onde o desvio é negativo) quanto à criatividade (onde o desvio é positivo).

Metodologia
A contribuição central é o Campo Conceitual, um campo de deriva local com incerteza pontual estimada no espaço de incorporação de sentenças. A metodologia procede da seguinte forma:

1. Banco de Dados de Sequências Vetoriais (VSDB): Os autores introduzem uma camada de armazenamento que mantém incorporações de sentenças de dimensão fixa juntamente com metadados de posição da sequência e informações de "próximo delta" ($\Delta_{i,j} = v_{p+1} - v_p$). Isso permite que o sistema trate um corpo de texto não apenas como um saco de sentenças, mas como uma coleção de trajetórias no espaço de incorporação.
2. Construção do Campo Conceitual: Usando o VSDB, os autores calculam uma densidade de probabilidade local de transições de sentenças. Ao tratar o corpo de texto como um "campo vetorial", eles definem uma deriva determinística onde o "fluxo" representa o conceito mais provável seguinte dada uma sentença atual. Este campo é estimado usando interpolação de Pesagem por Distância Inversa (IDW) sobre os vizinhos mais próximos no espaço de incorporação.
3. Mecanismo de Pontuação ($\zeta$): Para avaliar uma transição de sentença candidata, o sistema calcula a distância z média absoluta ($\zeta$) entre o delta observado e a estimativa gaussiana local do Campo Conceitual.
   • Um $\zeta$ pequeno indica concordância estatística com o fluxo do corpo de texto (fundamentado).
   • Um $\zeta$ grande indica um afastamento do fluxo do corpo de texto (não fundamentado ou novo).
   • A pontuação é totalmente de caixa-preta (não requerendo internos do modelo), atribuível ao corpo de texto (rastreando de volta para sentenças específicas do corpo de texto) e admite uma interpretação probabilística direta.
4. Análise Geométrica: Os autores exploram a divergência e o rotacional do Campo Conceitual em aglomerados densos. Alta divergência indica "fontes de lógica" (pontos de partida comuns) ou "sumidouros de lógica" (conclusões comuns), enquanto alto rotacional sugere "tópicos implícitos" ou regiões onde vetores circulam em torno de um conceito central sem um fluxo linear claro.

Principais Contribuições

1. Campo Conceitual via VSDB: Uma representação em nível de corpo de texto do fluxo de sequência de sentenças com incerteza local, implementada através de um Banco de Dados de Sequências Vetoriais inovador.
2. Detecção Seletiva de Fundamentação: Uma política de triagem (Fundamentado / Não Fundamentado / Incerto) baseada em limiares de $\zeta$. Esta abordagem alcança taxas de erro baixas em casos aceitos, mantendo um bucket "incerto" para transições ambíguas.
3. Robustez Transversal de Domínio: O mesmo mecanismo suporta tanto verificações de fundamentação estilo conformidade (detectando alucinações em texto legal) quanto verificações de desvio estilo novidade (detectando desvios criativos em literatura) sem recalibração de limiares.
4. Geometria do Corpo de Texto: Evidência qualitativa de que características topológicas (divergência/rotacional) no Campo Conceitual correspondem a padrões semânticos significativos, como fluxos de raciocínio comuns ou regiões de evasão.

Resultados Experimentais
Os autores avaliaram a abordagem em dois cenários de grande escala:

• CFR (Código de Regulamentos Federais): Um corpo de texto factual/legal usado para testar a detecção de alucinações. O sistema foi testado em pares de sentenças reescritos por LLMs, distinguindo entre aqueles que preservaram o significado (fundamentados) e aqueles que alteraram a semântica (não fundamentados).
• Project Gutenberg: Um corpo de texto literário geral usado para testar a detecção de novidade, onde a "não fundamentação" (alto $\zeta$) é uma característica desejada para escrita criativa.

Descobertas de Desempenho:

• Classificação Seletiva: Sob uma política de triagem (por exemplo, $\zeta_{baixo}=1, \zeta_{alto}=3.75$), o método alcançou uma pontuação F1 de 0,978 e uma AUC de 0,984 no conjunto de dados CFR com ~56% de cobertura (44% dos exemplos marcados como "incertos").
• Comparação com Linha de Base: O Campo Conceitual superou ou igualou linhas de base que usavam distância simples de vizinho mais próximo (Euclidiana ou Cosseno) no VSDB. Crucialmente, enquanto as linhas de base baseadas em distância exigiam ajuste de limiar específico do corpo de texto, o Campo Conceitual manteve desempenho consistente e interpretação de limiar em ambos os domínios CFR e Gutenberg.
• Comportamento Cobertura-Risco: O método demonstrou trade-offs de cobertura-risco semelhantes em ambos os domínios, apoiando a afirmação de que a interpretação baseada em probabilidade de $\zeta$ transfere-se efetivamente entre corpos de texto factuais e criativos.
• Insights Geométricos: A análise qualitativa de divergência e rotacional revelou aglomerados semanticamente coerentes (por exemplo, "GOOOOAAALL!!" como um sumidouro de lógica em comentários esportivos, ou formulação regulatória específica como fontes/sumidouros de lógica no CFR).

Significado e Alegações
O artigo afirma que os Campos Conceituais fornecem um sinal rápido, leve e interpretável para fundamentação e novidade que é complementar a juízes LLM e detectores de caixa-branca.

• Interpretabilidade: Ao contrário de juízes de caixa-preta, cada pontuação rastreia de volta para sentenças próximas do corpo de texto, oferecendo explicabilidade.
• Eficiência: Uma vez indexado, o método é mais rápido e barato (sem uso de tokens de API) do que a avaliação baseada em LLM, rodando em CPUs comerciais.
• Agnosticismo de Linguagem: A abordagem não está ligada a arquiteturas de modelo específicas, tornando-a aplicável a várias línguas do mundo.
• Modéstia: Os autores enquadram a análise geométrica (divergência/rotacional) como "geradora de hipóteses" em vez de um resultado quantitativo definitivo. Eles reconhecem que a qualidade do Campo Conceitual é dependente dos dados, notando que corpos de texto logicamente consistentes (como leis) produzem campos mais confiáveis do que dados ruidosos da internet. O trabalho é apresentado como um passo fundamental, deixando espaço para a comunidade melhorar esquemas de incorporação e métodos de interpolação.