Directional Concentration Uncertainty: A representational approach to uncertainty quantification for generative models

1. O Problema

Os modelos generativos, como os Grandes Modelos de Linguagem (LLMs), são ferramentas poderosas, mas sua aplicação em domínios sensíveis e na tomada de decisão é limitada pela falta de confiabilidade e transparência. A Quantificação de Incerteza (UQ) é uma camada crítica que visa medir a confiança do modelo, permitindo que os usuários tomem decisões informadas.

O estado da arte atual para UQ em LLMs baseia-se frequentemente em métodos de amostragem, como a Entropia Semântica (SE). No entanto, o artigo identifica limitações estruturais na SE:

• Dependência de Heurísticas Rígidas: A SE agrupa respostas amostradas em clusters baseados em equivalência semântica (geralmente usando modelos de implicação bidirecional).
• Falta de Generalização: Embora funcione bem em tarefas de perguntas e respostas (QA) estruturadas e curtas, a SE falha em tarefas mais complexas, abertas ou multimodais (como QA visual), onde a definição de "equivalência semântica" torna-se ambígua ou computacionalmente inviável.
• Restrição de Modalidade: Métodos baseados em agrupamento de texto não se generalizam facilmente para outros domínios de dados (imagens, áudio) ou modalidades mistas.

2. Metodologia: Incerteza de Concentração Direcional (DCU)

Os autores propõem a Directional Concentration Uncertainty (DCU), uma nova abordagem que substitui o agrupamento semântico discreto por uma análise geométrica contínua no espaço de representações (embeddings).

Principais Etapas do Método:

1. Amostragem: Para uma entrada $x$, o modelo generativo produz $N$ saídas textuais ($y_1, ..., y_N$).
2. Embedding Contínuo: Cada saída textual é convertida em um vetor de embedding contínuo usando um modelo pré-treinado (ex: e5-large-v2 para texto, CLIP para multimodal).
3. Normalização: Os vetores são normalizados ($\ell_2$) para que residam em uma hipersfera unitária ($S^{d-1}$).
4. Modelagem Estatística (vMF): A distribuição desses vetores é modelada usando a distribuição von Mises-Fisher (vMF). Esta distribuição é definida em hipersferas e possui dois parâmetros:
   • $\mu$: Direção média.
   • $\kappa$: Parâmetro de concentração.
5. Cálculo da Incerteza:
   • O parâmetro $\kappa$ mede o quão agrupados estão os vetores em torno da direção média.
   • Alta Concentração ($\kappa$ alto): As respostas são consistentes $\rightarrow$ Baixa Incerteza.
   • Baixa Concentração ($\kappa$ baixo): As respostas estão dispersas $\rightarrow$ Alta Incerteza.
   • A pontuação final de incerteza é definida como o inverso da concentração ($\kappa^{-1}$).

Diferenciação Chave: Ao contrário da Entropia Semântica, a DCU não requer modelos auxiliares de implicação lógica nem atribuição de clusters discretos. Ela opera diretamente na geometria dos embeddings, tornando-a agnóstica à tarefa e à modalidade.

3. Contribuições Principais

• Novo Framework de UQ: Introdução da DCU, um método estatístico baseado na distribuição vMF para quantificar incerteza via dispersão geométrica de embeddings.
• Generalização Multimodal: Demonstração de que a abordagem baseada em representações funciona eficazmente em tarefas unimodais (texto) e multimodais (texto + imagem), superando a rigidez dos métodos baseados em texto puro.
• Eliminação de Heurísticas Específicas: Remoção da dependência de modelos de equivalência semântica (como NLI), permitindo aplicação em qualquer domínio onde existam bons codificadores (encoders).
• Validação Empírica: Comparação direta com a Entropia Semântica (SE) em benchmarks estabelecidos e em tarefas desafiadoras de QA visual.

4. Resultados Experimentais

Os experimentos foram conduzidos em modelos de código aberto (LLaMA-2, Falcon, Mistral, LLaVA, Gemma) e diversos datasets (SQuAD, TriviaQA, NQ-Open e ScienceQA).

• Tarefas de QA de Texto (SQuAD, TriviaQA, NQ-Open):

  • A DCU atingiu níveis de calibração (medidos pelo AUROC) comparáveis ou ligeiramente inferiores à Entropia Semântica, permanecendo competitiva.
  • Em alguns cenários (ex: modelo Falcon no NQ-Open), a DCU superou a SE.
  • Isso valida que a dispersão geométrica dos embeddings captura o mesmo sinal de incerteza que a entropia de clusters semânticos.

• Tarefas de QA Visual (ScienceQA):

  • Desempenho da SE: A Entropia Semântica sofreu significativamente, apresentando pontuações AUROC próximas de 0.5 (equivalente a um palpite aleatório), especialmente no modelo Gemma-3.
  • Desempenho da DCU: A DCU demonstrou superioridade clara, alcançando AUROC de 0.67 no modelo LLaVA-1.5, enquanto a SE ficou em 0.51.
  • Conclusão: A DCU generaliza bem para tarefas complexas e multimodais onde a definição de equivalência textual falha.

5. Significado e Implicações

• Quebra de Paradigma: O trabalho sugere que o sucesso de métodos baseados em amostragem (como a SE) deve-se fundamentalmente à inconsistência das respostas, que pode ser capturada mais eficientemente e de forma mais geral através de representações contínuas (embeddings) do que através de agrupamento semântico.
• Aplicabilidade em Sistemas Agênticos: A flexibilidade da DCU permite sua integração em sistemas de agentes autônomos, onde a incerteza pode ser monitorada em estados ocultos de diferentes modalidades sem necessidade de reengenharia para cada nova tarefa.
• Limitações e Futuro: O método ainda requer múltiplas amostras do modelo (custo computacional), embora o custo do encoder seja menor que o de métodos anteriores que exigiam modelos de implicação. O trabalho aponta para futuras investigações em outras modalidades (geração de imagem/áudio) e integração profunda em pipelines de agentes.

Em resumo, a DCU oferece uma abordagem mais robusta, flexível e generalizável para quantificar a incerteza em modelos generativos, superando as barreiras impostas pelas heurísticas rígidas de equivalência semântica.