Resumo Técnico: Avaliando o Colapso Estocástico e o Viés Implícito em Modelos de Linguagem de Grande Escala Multimodais

1. Definição do Problema

As avaliações atuais de Modelos de Linguagem de Grande Escala Multimodais (MLLMs) concentram-se predominantemente em objetivos orientados pela utilidade, como raciocínio lógico e conclusão de tarefas, deixando amplamente inexplorado o comportamento dos modelos em cenários de neutralidade lógica. Na cognição humana, ao enfrentar opções perfeitamente equivalentes e desprovidas de superioridade lógica, os indivíduos intuitivamente quebram impasses de decisão "jogando uma moeda". No entanto, sondagens preliminares sugerem que os MLLMs falham em replicar esse comportamento; suas "moedas" são fundamentalmente desequilibradas, exibindo distribuições de probabilidade altamente não uniformes mesmo quando explicitamente instruídos a escolher aleatoriamente.

Essa falha é crítica à medida que os MLLMs evoluem para agentes autônomos. Em planejamentos de múltiplas etapas ou sistemas de recomendação comercial, a falta de estocasticidade genuína pode levar a trajetórias repetitivas, colapso da experiência do usuário e cobertura injusta de alternativas viáveis. Embora a pesquisa de viés existente aborde estereótipos sociais explícitos ou falhas de alinhamento cross-modal, a quantificação sistemática de vieses comportamentais endógenos e livres de gatilhos em configurações de escolha puramente aleatória permanece um território inexplorado.

2. Metodologia: RandomBench

Para abordar essa lacuna, os autores introduzem o RandomBench, um benchmark projetado para quantificar o comportamento do modelo sob equivalência semântica absoluta. O framework é construído sobre o Princípio da Neutralidade Lógica, onde todas as opções candidatas são semanticamente equivalentes e logicamente não relacionadas ao objetivo da tarefa, forçando o modelo a um regime de decisão estocástica sem o auxílio de raciocínio deliberado (Sistema 2).

Construção do Conjunto de Dados

O RandomBench compreende 200 instâncias divididas em duas modalidades:

• RB-Text (100 instâncias): Avalia priors linguísticos através de quatro dimensões:
  • Símbolos Abstratos e Números: Priors de tokens e numéricos (ex: lançamentos de moeda, dados).
  • Escolha Linguística e Funcional: Impasses racionais usando instruções sinônimas.
  • Espaço e Percepção: Modelos de mundo internalizados em relação a direções espaciais e coordenadas.
  • Identidade Afetiva e Social: Senso comum e priors de estilo de vida em contextos ambíguos.
• RB-Vision (100 instâncias): Investiga como características visuais remodelam o comportamento estocástico via interação cross-modal:
  • Saliência Perceptual: Sensibilidade a padrões geométricos, cores e materiais.
  • Layout Espacial: Vieses posicionais em matrizes padronizadas (ex: grades 2x2).
  • Identidade Afetiva e Social: Pistas visuais que induzem conformidade social.
  • Sequestro Cross-Modal: Conflitos do tipo Stroop onde características visuais contradizem instruções textuais.

O pipeline de curadoria envolve construção manual, filtragem rigorosa de neutralidade lógica para remover conteúdo sensível, construção de estímulos visuais híbridos (renderização baseada em código e geração assistida por IA com padronização de nível de pixel) e revisão especializada de múltiplas rodadas por pesquisadores de ciência cognitiva.

Métricas de Avaliação

Para quantificar desvios da distribuição uniforme ideal ($P_{gt}(o_i) = 1/K$), os autores propõem três métricas baseadas na teoria da entropia da informação:

1. Índice de Aleatoriedade (RI): Entropia de Shannon normalizada que mede a incerteza distributiva. Um RI alto indica uniformidade; um RI baixo indica colapso.
2. Índice de Intensidade de Viés (BII): Divergência de Kullback-Leibler (KL) entre a distribuição empírica e a distribuição uniforme ideal, medindo a magnitude da "força de sequestro" por priors latentes.
3. Índice de Consistência de Viés (BCI): O resíduo da probabilidade empírica máxima em relação à linha de base aleatória, capturando a "persistência de seleção" ou teimosia em direção a opções específicas.

Configuração Experimental

O estudo avalia sete MLLMs de fronteira (GPT 5.1, Gemini 3.1 Flash-Lite, Claude Sonnet 4.6, Kimi K2.5, Qwen 3.6 Plus, Grok 4 Fast, Doubao Seed 1.6) em Inglês e Chinês. Cada instância passa por 50 tentativas de amostragem repetidas a uma temperatura de decodificação de $T=1.0$. Crucialmente, o raciocínio explícito de Cadeia de Pensamento (CoT) é suprimido para isolar heurísticas de "Sistema 1".

3. Resultados Principais

Colapso Estocástico

Os experimentos revelam um fenômeno pervasivo denominado Colapso Estocástico. Sob instruções de aleatoriedade explícita, os MLLMs falham em manter a aleatoriedade uniforme. Em vez disso, eles concentram a massa de probabilidade em um pequeno subconjunto de escolhas.

• Gravidade: Em alguns casos (ex: Claude Sonnet 4.6), as probabilidades do top-1 atingem 97% a partir de uma linha de base ideal de 25%, com o RI caindo para 0.068.
• Paradoxo da Capacidade: Modelos com capacidades de raciocínio mais fortes e melhor alinhamento de instrução frequentemente exibem um colapso estocástico mais severo. Isso sugere que, à medida que os modelos otimizam para consistência interna, eles internalizam rigidamente heurísticas implícitas, levando ao "raciocínio motivado", onde geram racionalizações fluentes e post-hoc para escolhas enviesadas.

Sequestro Visual

No domínio multimodal (RB-Vision), a degradação estocástica é significativamente mais profunda do que em configurações apenas de texto. Âncoras visuais (saliência, posição espacial, complexidade geométrica) consistentemente sobrepõem-se às instruções textuais para escolher aleatoriamente. Este "Sequestro Visual" prova que a camada de codificação visual pode efetivamente dominar o regime estocástico pretendido.

Robustez Cross-Lingual e de Símbolos

• Dependência Linguística: Os vieses implícitos não são puramente dependentes da visão, mas são modulados pelo contexto linguístico. A troca de idiomas (ex: Inglês para Chinês) frequentemente induz reconstruções substanciais do manifold de decisão e inversões de preferência.
• Sensibilidade a Símbolos: Substituir rótulos padrão (A, B, C, D) por formas geométricas, letras gregas ou hashes aleatórios falha em restaurar a uniformidade. Em vez disso, os modelos colapsam sobre novos priors de tokens (ex: formas geométricas específicas ou letras gregas como $\gamma$), indicando que símbolos não padronizados atuam como âncoras heurísticas primitivas.

4. Principais Contribuições

1. Escolha Aleatória de Utilidade Neutra: O artigo estabelece um novo cenário de diagnóstico para avaliar o viés comportamental endógeno em MLLMs sob equivalência semântica, indo além dos tradicionais benchmarks de raciocínio lógico.
2. RandomBench: Um benchmark multimodal apresentando protocolos de amostragem repetida e métricas baseadas em entropia (RI, BCI, BII) especificamente projetados para quantificar o comportamento de escolha aleatória não uniforme.
3. Colapso Estocástico: A identificação de um modo de falha sistemático onde os MLLMs exibem preferências estáveis, enviesadas e racionalizadas, mesmo quando nenhuma opção é logicamente superior. Isso inclui a descoberta do Sequestro Visual e do Paradoxo da Capacidade-Consistência.

5. Significância e Alegações

O artigo afirma que o Colapso Estocástico não é meramente um sintoma de modelos fracos ou formatação superficial, mas uma vulnerabilidade estrutural enraizada no manifold de parâmetros por meio de priors de frequência de tokens pré-treinados e sobre-alinhamento.

• Neutralidade Cognitiva: As descobertas desafiam a suposição de que os MLLMs podem alcançar verdadeira neutralidade cognitiva. Mesmo quando o raciocínio é desnecessário, as decisões permanecem sistematicamente enviesadas, excessivamente confiantes e distributivamente colapsadas.
• Implicações de Risco: Os autores destacam que o risco mais crítico deste fenômeno é a ilusão de tomada de decisão racional. Em cenários do mundo real de alto risco e ambíguos (ex: direção autônoma, diagnóstico médico), os MLLMs podem gerar escolhas fundamentalmente enviesadas e altamente confiantes, disfarçadas por racionalizações post-hoc, amplificando vieses sistêmicos imperceptíveis em falhas catastróficas.
• Direções Futuras: O trabalho lança as bases para futuras estratégias de mitigação, sugerindo que abordar esses vieses requer mais do que modificações superficiais de prompts; exige intervenções no nível dos priors de frequência de tokens pré-treinados e da regressão do manifold de embedding.

Os autores concluem que alcançar a verdadeira neutralidade cognitiva na tomada de decisão ambígua requer abordar as preferências heurísticas baseadas em dados permanentemente impressas na topologia física da rede.