Resumo Técnico: SymboUQ

Definição do Problema

Modelos de Linguagem de Grande Escala (LLMs) frequentemente geram traços de raciocínio fluentes para tarefas de raciocínio espacial, porém os passos relacionais intermediários podem falhar em sustentar a conclusão final. Um único passo incorreto de direção ou contenção pode corromper a configuração espacial inferida, mantendo a explicação aparentemente coerente. Os métodos existentes de quantificação de incerteza (UQ) baseiam-se em estatísticas de nível de token, concordância semântica ou representações internas, que podem correlacionar-se com a correção sem avaliar diretamente a semântica espacial. Por outro lado, verificadores formais fornecem evidências semânticas mais fortes, mas sofrem de aplicabilidade parcial: uma afirmação pode ser parseada com sucesso para uma linguagem formal (simbolizável), mas resultar em um desfecho "desconhecido" ou "não-avaliável" devido a premissas insuficientes ou inconsistências de contexto. Consequentemente, a cobertura de parse sozinha é um proxy insuficiente para a quantidade de evidência utilizável que um verificador fornece.

Metodologia: SymboUQ

Os autores propõem o SymboUQ, um framework de quantificação de incerteza simbólica que estima a confiabilidade da resposta final distinguindo entre simbolizabilidade (se uma afirmação pode ser traduzida para a linguagem formal do verificador) e determinância semântica (se a execução dessa afirmação produz um veredito de implicação ou contradição definido). O framework consiste em três componentes principais:

1. Auditor de Layout (Layout Auditor)

O Auditor de Layout executa afirmações espaciais ordenadas sequencialmente contra uma descrição de cena confiável.

• Geração de Restrições: Ele mapeia declarações de linguagem natural em um sistema de relações canônico (triplas de sujeito, relação, objeto) cobrindo direção, contenção, distância e topologia.
• Execução e Vereditos: Ele mantém um contexto ativo (a cena confiável mais as afirmações simbolizáveis precedentes) e avalia cada afirmação $c_k$ contra este contexto. As afirmações recebem um de quatro status:
  • Implicada ($en$): A afirmação decorre do contexto ativo.
  • Contradita ($co$): A afirmação conflita com o contexto ativo.
  • Desconhecida ($un$): A afirmação é simbolizável, mas o contexto carece de informação suficiente para resolvê-la.
  • Não Avaliável ($no$): O contexto ativo já é infaticável (devido a contradições anteriores), impedindo avaliações subsequentes.
• Extração de Evidências: O auditor extrai características relacionadas à viabilidade, detecção de conflitos e custos de reparo limitados (removendo relações geradas para restaurar a viabilidade enquanto mantém a cena confiável fixa).

2. Perfil de Determinância (Determinacy Profile)

Este módulo gera um perfil livre de rótulos $\phi(r)$ que caracteriza a "cobertura executável efetiva" de um traço de raciocínio, independente da polaridade do veredito.

• Simbolizabilidade ($\pi(r)$): A fração de afirmações que podem ser parseadas na linguagem formal.
• Taxa de Desconhecidos ($\nu(r)$): A fração de afirmações parseadas que permanecem não resolvidas (desconhecidas).
• Determinância Semântica ($d(r)$): A fração de afirmações parseadas que recebem um veredito definido ($en$ ou $co$) sob um contexto viável. Crucialmente, afirmações marcadas como "não avaliáveis" reduzem a determinância, pois representam uma perda de evidência utilizável.
• Aplicabilidade do Verificador ($\delta(r)$): Definida como $\pi(r) \times d(r)$, representando a fração de todas as afirmações que são tanto simbolizáveis quanto semanticamente determinadas.

3. Compositor de Confiabilidade Consciente de Determinância (DARC)

O DARC integra sinais de confiabilidade heterogêneos (baseados em restrições, representação e decodificação) condicionados ao perfil de aplicabilidade do traço.

• Banco de Candidatos: Utiliza um banco de estimadores pré-treinados ou sem treinamento (ex: entropia de token, sondas neurais, solvers de restrições).
• Adaptação de Alvo: Usando uma divisão de validação rotulada do domínio alvo, o DARC filtra candidatos (removendo pontuações quase aleatórias) e orienta-os (invertendo pontuações se o AUROC for $<0.5$).
• Composição Condicionada à Aplicabilidade: O DARC constrói vetores de características que interagem as pontuações dos candidatos com o perfil de determinância. Especificamente, utiliza termos de interação como $\delta(r) \cdot s_j(r)$ para modular a contribuição da evidência baseada em restrições conforme a determinância semântica. Isso permite que o modelo reduza o peso da evidência simbólica quando a determinância é baixa, preservando as pontuações brutas das fontes neurais/de decodificação. A pontuação de confiabilidade final $p(r)$ é computada via uma função logística com regularização $\ell_2$.

Principais Contribuições

1. Distinção Conceitual: O trabalho distingue a simbolizabilidade textual da determinância semântica, fornecendo uma base principiológica para determinar quando a evidência derivada do verificador é informativa. Argumenta-se que a cobertura de parse sozinha é insuficiente porque não considera afirmações não resolvidas ou bloqueadas.
2. Framework Técnico: O SymboUQ introduz um pipeline de três estágios (Auditor de Layout, Perfil de Determinância, DARC) que lida explicitamente com os regimes de "desconhecido" e "não-avaliável" da verificação formal, integrando-os com sinais neurais.
3. Desempenho Empírico: O framework demonstra melhorias consistentes sobre baselines fortes em diversos benchmarks de raciocínio espacial e backbones de LLM.

Resultados Experimentais

Os autores avaliaram o SymboUQ em cinco benchmarks de raciocínio espacial (StepGame, SpaRTQA, SpaRTUN, SpaceNLI, SpaRP) usando quatro backbones de LLM congelados (Mistral-7B, Llama-3.1-8B, Gemma-2-9B, Qwen3-8B).

• Desempenho: O SymboUQ alcançou o desempenho geral mais forte em classificação de traços (AUROC) e estimativa de probabilidade (Brier loss balanceado por classe). Demonstrou uma melhoria relativa média de 8% em AUROC e uma redução relativa de 7% no Brier loss balanceado por classe em comparação com o baseline externo mais forte.
• Estudos de Ablação:
  • Consciência de Aplicabilidade: Remover as interações conscientes de determinância (usando apenas empilhamento de pontuações) resultou em uma queda de desempenho de 0.032–0.052 em AUROC, confirmando que condicionar na aplicabilidade é crítico.
  • Determinância vs. Cobertura de Parse: A análise mostrou que a separação de pontuação de restrição aumenta monotonicamente com a determinância semântica, mas não com a cobertura de parse, validando que a determinância é um caracterizador melhor da utilidade do verificador.
  • Semântica de Contexto: Usar um "contexto assumido" (permitindo hipóteses não verificadas) em vez de um "contexto estritamente fundamentado" proporcionou ganhos significativos, pois permite que o sistema detecte autocontradições dentro da cadeia gerada.
• Eficiência: O método é computacionalmente eficiente, processando aproximadamente 159 traços por segundo com um pequeno número de parâmetros treináveis (8.13M) e exigindo apenas um curto tempo de treinamento (9 minutos) na divisão de validação do alvo.

Significância

O artigo afirma que o SymboUQ aborda uma lacuna crítica na estimativa de confiabilidade de LLMs: a desconexão entre a capacidade de parsear uma afirmação e a capacidade de resolvê-la semanticamente. Ao tratar os resultados "desconhecidos" e "não-avaliáveis" como distintos de "contraditos" e modelar explicitamente a perda de evidência devido à infasticidade do contexto, o framework fornece uma medida mais fiel da aplicabilidade do verificador. Os resultados sugerem que, para o raciocínio espacial, a estimativa de confiabilidade beneficia-se significativamente da integração de sinais de verificação formal com sinais neurais, desde que essa integração seja condicionada à determinância semântica do traço, e não meramente à sua parseabilidade. O trabalho estabelece que a quantificação de incerteza simbólica pode ser aplicada eficazmente a traços de raciocínio de formato livre sem exigir rótulos de verdade fundamental para os passos intermediários durante o processo de auditoria.