Resumen Técnico: Sondeo del Estado de Decisión en Modelos de Lenguaje Multimodales

Declaración del Problema

Los Modelos de Lenguaje Multimodales (MLLM) se evalúan predominantemente a través de comportamientos observables externamente, como la selección de la correspondencia correcta entre imagen y texto o la respuesta precisa a consultas visuales. Si bien los benchmarks como MMBench y MM-Vet miden estos resultados de manera efectiva, el artículo argumenta que el comportamiento externo correcto no garantiza la estabilidad interna. Un modelo puede seleccionar consistentemente la descripción correcta (comportamiento de corrección estricta) mientras su estado de decisión interno exhibe una inestabilidad significativa o "sensibilidad al estrés" cuando se expone a perturbaciones semánticas estructuradas. Esto crea un punto ciego de evaluación donde las métricas basadas solo en el comportamiento reportan éxito, ocultando una señal de sensibilidad al estrés del estado de decisión interno.

Metodología: Marco S3E

Los autores introducen S3E (Evaluación de Estrés Semántico Estructurado), un marco diseñado para analizar el desacoplamiento entre el comportamiento externo y los estados de decisión internos.

1. Protocolo de Evaluación

• Elección Forzada A/B Anclada en lo Positivo: La evaluación presenta una imagen, una descripción positiva ($c^+$) respaldada por la imagen, y una descripción candidata ($c$). El modelo debe elegir qué descripción coincide mejor con la imagen.
• Equilibrio de Orden: Para eliminar el sesgo de posición, los ensayos se evalúan tanto en el orden original ($[c^+, c]$) como en el orden invertido ($[c, c^+]$).
• Filtrado de Corrección Estricta: El análisis se condiciona a los ensayos de "corrección estricta", donde el modelo selecciona la descripción positiva $c^+$ en ambos órdenes de opciones frente a la candidata. Esto asegura que el análisis interno se centre en casos donde el comportamiento externo es estable y correcto.

2. Condiciones de los Candidatos

El marco utiliza un sustrato "base–preservar–estrés" derivado de benchmarks públicos (Winoground, SugarCrepe, ARO):

• Positiva ($c^+$): La descripción estándar de oro, respaldada por la imagen.
• Preservar ($c_{pres}$): Una reescritura de $c^+$ que preserva el significado (prueba la estabilidad interna de las reformulaciones correctas).
• Lexical ($c_{lex}$): Un control de superficie de significado preservado distinto (prueba la variación ordinaria a nivel de palabra).
• Estrés ($c_{stress}$): Una candidata que cambia el significado e introduce conflicto semántico (cambios en objetos, atributos, relaciones o composición).
• Aleatoria ($c_{rand}$): Una descripción de desajuste genérico proveniente de un elemento de origen diferente.

3. Sondeo del Estado de Decisión

• Punto de Extracción: Los estados ocultos se extraen en el estado de decisión pre-respuesta, inmediatamente antes de que el modelo emita el token de elección forzada.
• Métrica: Los autores utilizan una distancia de coseno anclada en lo positivo. Para una condición de candidato $k$, la puntuación $S^{(m,\ell)}_{i,o,k}$ se define como $1 - \cos(h^{(m,\ell)}_{i,o,k}, h^{(m,\ell)}_{i,o,+})$, donde $h^{(m,\ell)}_{i,o,+}$ es el estado oculto para la descripción positiva.
• Contraste Normalizado por Control: La métrica principal es el desplazamiento excesivo de la condición de estrés relativo a los controles:
  • $\Delta_{lex} = S_{stress} - S_{lex}$ (Estrés semántico vs. variación lexical).
  • $\Delta_{pres} = S_{stress} - S_{pres}$ (Estrés semántico vs. reformulación de significado preservado).
  • $\Delta_{rand} = S_{stress} - S_{rand}$ (Estrés semántico vs. desajuste genérico).

4. Perfil de Diagnóstico

Los resultados se reportan a través de cuatro dimensiones (CA, SO, SI, BE):

• CA (Compresión–Anisotropía): Rango efectivo y concentración de varianza.
• SO (Organización Estructural): Deriva por capa y localización de pico de capa.
• SI (Selectividad–Identificabilidad): Especificidad de la señal de estrés frente a los controles.
• BE (Exposición Conductual): Precisión y tasas de corrección estricta.

Resultados Clave

El estudio se realizó en cinco modelos de código abierto: Qwen3VL (2B, 4B, 8B), Gemma3-4B e InternVL3-2B.

1. Existencia de Sensibilidad al Estrés Oculto: En todos los modelos probados, el estrés semántico produjo consistentemente un desplazamiento excesivo de la capa seleccionada positiva ($\Delta_{lex}$) relativo a los controles lexicales, incluso cuando el modelo tomó la decisión correcta de elección forzada.

   • Para Qwen3VL-8B, el tamaño del efecto estandarizado emparejado ($d_p$) fue de 2.85 con un $\Delta_{lex}$ de 0.1293.
   • Para Gemma3-4B, $\Delta_{lex}$ fue de 0.0093 con un $d_p$ de 5.45.
   • Los intervalos de confianza para $\Delta_{lex}$ excluyeron el cero en todas las ejecuciones de alto soporte.

2. La Escala No Elimina la Brecha: Aumentar la escala del modelo (Qwen3VL 2B $\to$ 8B) no colapsó el desacoplamiento entre comportamiento e interno. De hecho, el contraste semántico específico creció con la escala (0.0190 $\to$ 0.1293), lo que sugiere que los modelos más grandes pueden exhibir estructuras de estado de decisión de estrés-específicas más fuertes o identificables, incluso cuando son externamente correctos.

3. Especificidad de la Señal:

   • El efecto es semánticamente específico: $\Delta_{lex}$ fue consistentemente positivo, lo que indica que el desplazamiento no se debe simplemente a la variación lexical o de la forma superficial.
   • El efecto no es un desajuste genérico: $\Delta_{rand}$ (estrés vs. negativo aleatorio) dependió del modelo y a menudo fue negativo o cercano a cero, confirmando que los negativos aleatorios sirven como una referencia de desajuste bruto más fuerte en lugar de ser el basamento semántico primario.

4. Localización de Capas: La respuesta al estrés se localizó en capas "pico" específicas (identificadas mediante un perfil de especificidad de estrés E3) pero también fue visible en una verificación de la mitad superior preespecificada, lo que sugiere que la respuesta no está confinada a una sola capa aislada.

Significancia y Reivindicaciones

El artículo realiza afirmaciones modestas y delimitadas sobre sus hallazgos:

• Lente de Diagnóstico, No Certificado de Fallo: Los autores declaran explícitamente que S3E es un objetivo de diagnóstico acotado, no un certificado de fallo descendente, alucinación o seguridad. La presencia de desplazamiento excesivo bajo un comportamiento de corrección estricta indica "sensibilidad al estrés del estado de decisión", no necesariamente que el modelo fallará en la generación de texto libre o en tareas posteriores.
• Insuficiencia de la Corrección de Elección Forzada: La conclusión principal es que la corrección de elección forzada por sí sola no es un certificado suficiente de la invariancia de la geometría de decisión interna. Un modelo puede ser conductualmente robusto mientras es internamente sensible al estrés semántico.
• Interpretación de la Señal: El desplazamiento observado se interpreta como una señal de cómo la geometría de decisión previa a la respuesta del modelo cambia cuando una candidata introduce un conflicto semántico. Esta señal sobrevive a los controles de variación lexical, margen de respuesta y solapamiento de superficie.
• Limitaciones: Los autores reconocen que el sustrato está centrado en el inglés y derivado de benchmarks públicos, lo que puede limitar la generalizabilidad. También señalan que el análisis depende del acceso de caja blanca (estados ocultos), lo que limita su aplicabilidad a modelos de código cerrado. La métrica $\Delta_{lex}$ es una respuesta geométrica en el estado pre-respuesta y no debe confundirse con la calibración o el fallo conductual futuro sin más evidencia.

En resumen, S3E proporciona un método para detectar el "estrés oculto" en los MLLM, revelando que los estados de decisión internos pueden ser inestables incluso cuando los resultados externos parecen correctos, lo que motiva trabajos futuros sobre estimaciones neutrales a las capas y pruebas de robustez.