Resumo Técnico: Sondagem de Estado de Decisão em Modelos de Linguagem Multimodais

Declaração do Problema

Os Modelos de Linguagem Multimodais (MLLMs) são predominantemente avaliados através de comportamentos externamente observáveis, como selecionar a correspondência correta entre imagem e texto ou responder a consultas visuais com precisão. Embora benchmarks como MMBench e MM-Vet meçam esses resultados de forma eficaz, o artigo argumenta que o comportamento externo correto não garante a estabilidade interna. Um modelo pode selecionar consistentemente a legenda correta (comportamento estrito-correto) enquanto seu estado de decisão interno exibe instabilidade significativa ou "sensibilidade ao estresse" quando exposto a perturbações semânticas estruturadas. Isso cria um ponto cego de avaliação onde métricas baseadas apenas no comportamento reportam sucesso, mascarando um sinal oculto de sensibilidade ao estresse do estado de decisão interna.

Metodologia: Estrutura S3E

Os autores introduzem o S3E (Structured Semantic Stress Evaluation - Avaliação de Estresse Semântico Estruturado), uma estrutura projetada para analisar o desacoplamento entre o comportamento externo e os estados de decisão internos.

1. Protocolo de Avaliação

• Escolha Forçada A/B Ancorada no Positivo: A avaliação apresenta uma imagem, uma legenda positiva ($c^+$) suportada pela imagem, e uma legenda candidata ($c$). O modelo deve escolher qual legenda combina melhor com a imagem.
• Balanceamento de Ordem: Para eliminar o viés de posição, os ensaios são avaliados tanto na ordem original ($[c^+, c]$) quanto na ordem invertida ($[c, c^+]$).
• Filtragem Estrita-Correta: A análise condiciona-se aos ensaios "estrito-corretos", onde o modelo seleciona a legenda positiva $c^+$ em ambas as ordens de opção contra a candidata. Isso garante que a análise interna foque em casos onde o comportamento externo é estável e correto.

2. Condições das Candidatas

A estrutura utiliza um substrato "base–preservar–estresse" derivado de benchmarks públicos (Winoground, SugarCrepe, ARO):

• Positiva ($c^+$): A legenda padrão ouro, suportada pela imagem.
• Preservar ($c_{pres}$): Uma reescrita da $c^+$ que preserva o significado (testa a estabilidade interna de reformulações corretas).
• Lexical ($c_{lex}$): Um controle de superfície distinto que preserva o significado (testa a variação comum de nível de palavra).
• Estresse ($c_{stress}$): Uma candidata que altera o significado, introduzindo conflito semântico (mudanças de objeto, atributo, relação ou composição).
• Aleatória ($c_{rand}$): Uma legenda de incompatibilidade genérica de outro item de origem.

3. Sondagem do Estado de Decisão

• Ponto de Extração: Os estados ocultos são extraídos no estado de decisão pré-resposta, imediatamente antes do modelo emitir o token de escolha forçada.
• Métrica: Os autores utilizam uma distância de cosseno ancorada no positivo. Para uma condição candidata $k$, a pontuação $S^{(m,\ell)}_{i,o,k}$ é definida como $1 - \cos(h^{(m,\ell)}_{i,o,k}, h^{(m,\ell)}_{i,o,+})$, onde $h^{(m,\ell)}_{i,o,+}$ é o estado oculto para a legenda positiva.
• Contraste Normalizado por Controle: A métrica primária é o deslocamento excessivo da condição de estresse em relação aos controles:
  • $\Delta_{lex} = S_{stress} - S_{lex}$ (Estresse semântico vs. variação lexical).
  • $\Delta_{pres} = S_{stress} - S_{pres}$ (Estresse semântico vs. reformulação preservadora de sentido).
  • $\Delta_{rand} = S_{stress} - S_{rand}$ (Estresse semântico vs. incompatibilidade genérica).

4. Perfil Diagnóstico

Os resultados são reportados em quatro dimensões (CA, SO, SI, BE):

• CA (Compressão–Anisotropia): Rank efetivo e concentração de variância.
• SO (Organização Estrutural): Deriva de camada e localização de pico de camada.
• SI (Seletividade–Identificabilidade): Especificidade do sinal de estresse contra os controles.
• BE (Exposição Comportamental): Acurácia e taxas de estrito-correto.

Principais Resultados

O estudo foi conduzido em cinco modelos de código aberto: Qwen3VL (2B, 4B, 8B), Gemma3-4B e InternVL3-2B.

1. Existência de Sensibilidade Oculta ao Estresse: Em todos os modelos testados, o estresse semântico consistentemente produziu um deslocamento excessivo de camada selecionada positivo ($\Delta_{lex}$) em relação aos controles lexicais, mesmo quando o modelo tomava a decisão de escolha forçada correta.

   • Para o Qwen3VL-8B, o tamanho do efeito pareado padronizado ($d_p$) foi de 2.85 com um $\Delta_{lex}$ de 0.1293.
   • Para o Gemma3-4B, $\Delta_{lex}$ foi de 0.0093 com um $d_p$ de 5.45.
   • Os intervalos de confiança para $\Delta_{lex}$ excluíram zero para todas as execuções de alto suporte.

2. A Escala Não Elimina o Hiato: Aumentar a escala do modelo (Qwen3VL 2B $\to$ 8B) não colapsou o desacoplamento entre comportamento e interno. Na verdade, o contraste semântico-específico cresceu com a escala (0.0190 $\to$ 0.1293), sugerindo que modelos maiores podem exibir estruturas de estado de decisão de estresse-específicas mais fortes ou identificáveis, mesmo quando externamente corretos.

3. Especificidade do Sinal:

   • O efeito é semântico-específico: $\Delta_{lex}$ foi consistentemente positivo, indicando que o deslocamento não se deve meramente à variação lexical ou de forma de superfície.
   • O efeito não é incompatibilidade genérica: $\Delta_{rand}$ (estresse vs. negativo aleatório) dependeu do modelo e foi frequentemente negativo ou próximo de zero, confirmando que negativos aleatórios servem como uma referência de incompatibilidade bruta mais forte, em vez de serem o principal baseline semântico.

4. Localização de Camada: A resposta ao estresse foi localizada em camadas de "pico" específicas (identificadas via perfil de especificidade de estresse E3), mas também foi visível em uma verificação pré-especificada da metade superior das camadas, sugerindo que a resposta não está confinada a uma única camada isolada.

Significância e Alegações

O artigo faz alegações modestas e delimitadas sobre suas descobertas:

• Lente Diagnóstica, Não Certificado de Falha: Os autores afirmam explicitamente que o S3E é um alvo diagnóstico delimitado, não um certificado de falha downstream, alucinação ou segurança. A presença de deslocamento excessivo sob comportamento estrito-correto indica "sensibilidade ao estresse do estado de decisão", não necessariamente que o modelo falhará na geração de texto livre ou em tarefas subsequentes.
• Insuficiência da Correção de Escolha Forçada: A conclusão principal é que a correção de escolha forçada sozinha não é um certificado suficiente de invariância da geometria interna de decisão. Um modelo pode ser comportamentalmente robusto, mas internamente sensível ao estresse semântico.
• Interpretação do Sinal: O deslocamento observado é interpretado como um sinal de como a geometria de decisão pré-resposta do modelo muda quando uma candidata introduz conflito semântico. Esse sinal sobrevive aos controles para variação lexical, margem de resposta e sobreposição de superfície.
• Limitações: Os autores reconhecem que o substrato é centrado no inglês e derivado de benchmarks públicos, o que pode limitar a generalização. Eles também observam que a análise depende de acesso de caixa-branca (estados ocultos), limitando a aplicabilidade a modelos de código fechado. A métrica $\Delta_{lex}$ é uma resposta geométrica no estado pré-resposta e não deve ser confundida com calibração ou falha comportamental futura sem evidências adicionais.

Em resumo, o S3E fornece um método para detectar "estresse oculto" em MLLMs, revelando que os estados de decisão internos podem ser instáveis mesmo quando os outputs externos parecem corretos, motivando assim trabalhos futuros sobre estimativas neutras de camada e testes de robustez.