Resumen Técnico: Evaluación del Colapso Estocástico y el Sesgo Implícito en Modelos de Lenguaje de Gran Escala Multimodales

1. Planteamiento del Problema

Las evaluaciones actuales de los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) se centran predominantemente en objetivos orientados a la utilidad, como el razonamiento lógico y la resolución de tareas, dejando ampliamente inexplorado el comportamiento de los modelos en escenarios de neutralidad lógica. En la cognición humana, cuando se enfrentan a opciones perfectamente equivalentes carentes de superioridad lógica, los individuos rompen intuitivamente los estancamientos de decisión "lanzando una moneda". Sin embargo, los sondeos preliminares sugieren que los MLLM no logran replicar este comportamiento; sus "monedas" son fundamentalmente desequilibradas, exhibiendo distribuciones de probabilidad altamente no uniformes incluso cuando se les instruye explícitamente para elegir al azar.

Este fallo es crítico a medida que los MLLM evolucionan hacia agentes autónomos. En la planificación de múltiples pasos o en sistemas de recomendación comercial, la falta de una estocasticidad genuina puede conducir a trayectorias repetitivas, experiencias de usuario colapsadas y una cobertura injusta de alternativas viables. Mientras que la investigación de sesgos existente aborda estereotipos sociales explícitos o fallos de alineación transmodal, la cuantificación sistemática de los sesgos de comportamiento endógenos y libres de disparadores en entornos de elección puramente aleatoria sigue siendo un territorio inexplorado.

2. Metodología: RandomBench

Para abordar esta brecha, los autores introducen RandomBench, un benchmark diseñado para cuantificar el comportamiento del modelo bajo equivalencia semántica absoluta. El marco se basa en el Principio de Neutralidad Lógica, donde todas las opciones candidatas son semánticamente equivalentes y lógicamente no relacionadas con el objetivo de la tarea, forzando al modelo a un régimen de decisión estocástica sin la ayuda del razonamiento deliberado (Sistema 2).

Construcción del Conjunto de Datos

RandomBench consta de 200 instancias divididas en dos modalidades:

• RB-Text (100 instancias): Evalúa los sesgos lingüísticos a través de cuatro dimensiones:
  • Símbolos Abstractos y Números: Sesgos de tokens y numéricos (p. ej., lanzamientos de moneda, dados).
  • Elección Lingüística y Funcional: Estancamientos racionales utilizando instrucciones sinónimas.
  • Espacio y Percepción: Modelos de mundo internalizados respecto a direcciones espaciales y coordenadas.
  • Identidad Afectiva y Social: Sentido común y sesgos de estilo de vida en contextos ambiguos.
• RB-Vision (100 instancias): Investiga cómo las características visuales remodelan el comportamiento estocástico a través de la interacción transmodal:
  • Saliencia Perceptiva: Sensibilidad a patrones geométricos, colores y materiales.
  • Distribución Espacial: Sesgos posicionales en matrices estandarizadas (p. ej., cuadrículas de 2x2).
  • Identidad Afectiva y Social: Claves visuales que inducen conformidad social.
  • Secuestro Transmodal: Conflictos tipo Stroop donde las características visuales contradicen las instrucciones textuales.

El proceso de curación implica la construcción manual, un filtrado estricto de neutralidad lógica para eliminar contenido sensible, la construcción de estímulos visuales híbridos (renderizado basado en código y generación asistida por IA con estandarización a nivel de píxel) y una revisión experta de varias rondas por parte de investigadores en ciencias cognitivas.

Métricas de Evaluación

Para cuantificar las desviaciones de la distribución uniforme ideal ($P_{gt}(o_i) = 1/K$), los autores proponen tres métricas basadas en la teoría de la entropía de la información:

1. Índice de Aleatoriedad (RI): Entropía de Shannon normalizada que mide la incertidumbre de la distribución. Un RI alto indica uniformidad; un RI bajo indica colapso.
2. Índice de Intensidad de Sesgo (BII): Divergencia de Kullback-Leibler (KL) entre la distribución empírica y la distribución uniforme ideal, midiendo la magnitud de la "fuerza de secuestro" por parte de los sesgos latentes.
3. Índice de Consistencia de Sesgo (BCI): El residuo de la probabilidad empírica máxima respecto a la línea base aleatoria, capturando la "persistencia de selección" o la terquedad hacia opciones específicas.

Configuración Experimental

El estudio evalúa siete MLLM de vanguardia (GPT 5.1, Gemini 3.1 Flash-Lite, Claude Sonnet 4.6, Kimi K2.5, Qwen 3.6 Plus, Grok 4 Fast, Doubao Seed 1.6) en inglés y chino. Cada instancia se somete a 50 ensayos de muestreo repetidos con una temperatura de decodificación de $T=1.0$. Crucialmente, se suprime el razonamiento explícito de Cadena de Pensamiento (CoT) para aislar heurísticas de "Sistema 1".

3. Resultados Clave

Colapso Estocástico

Los experimentos revelan un fenómeno generalizado denominado Colapso Estocástico. Bajo instrucciones de aleatoriedad explícita, los MLLM no logran mantener una aleatoriedad uniforme. En su lugar, concentran la masa de probabilidad en un pequeño subconjunto de opciones.

• Severidad: En algunos casos (p. ej., Claude Sonnet 4.6), las probabilidades del top-1 alcanzan el 97% desde una línea base ideal del 25%, con un RI que cae a 0.068.
• Paradoja de la Capacidad: Los modelos con mayores capacidades de razonamiento y mejor alineación de instrucciones suelen exhibir un colapso estocástico más severo. Esto sugiere que, a medida que los modelos optimizan la consistencia interna, internalizan rígidamente heurísticas implícitas, llevando a un "razonamiento motivado" donde generan racionalizaciones fluidas y post-hoc para decisiones sesgadas.

Secuestro Visual

En el dominio multimodal (RB-Vision), la degradación estocástica es significativamente más profunda que en los entornos de solo texto. Los anclajes visuales (saliencia, posición espacial, complejidad geométrica) superan consistentemente las instrucciones textuales para elegir al azar. Este "Secuestro Visual" demuestra que la capa de codificación visual puede dominar efectivamente el régimen estocástico pretendido.

Robustez Translingüística y de Símbolos

• Dependencia del Lenguaje: Los sesgos implícitos no dependen puramente de la visión, sino que son modulados por el contexto lingüístico. Cambiar de idioma (p. ej., de inglés a chino) a menudo induce reconstrucciones sustanciales del manifold de decisión e inversiones de preferencia.
• Sensibilidad de Símbolos: Reemplazar etiquetas estándar (A, B, C, D) con formas geométricas, letras griegas o hashes aleatorios no logra restaurar la uniformidad. En su lugar, los modelos colapsan sobre nuevos sesgos de tokens (p. ej., formas geométricas específicas o letras griegas como $\gamma$), lo que indica que los símbolos no estándar actúan como anclajes heurísticos primitivos.

4. Principales Contribuciones

1. Elección Aleatoria de Utilidad-Neutral: El artículo establece un nuevo escenario de diagnóstico para evaluar el sesgo de comportamiento endógeno en los MLLM bajo equivalencia semántica, yendo más allá de los benchmarks tradicionales de razonamiento lógico.
2. RandomBench: Un benchmark multimodal que presenta protocolos de muestreo repetido y métricas basadas en la entropía (RI, BCI, BII) diseñadas específicamente para cuantificar el comportamiento de elección aleatoria no uniforme.
3. Colapso Estocástico: La identificación de un modo de fallo sistemático donde los MLLM exhiben preferencias estables, sesgadas y racionalizadas incluso cuando ninguna opción es lógicamente superior. Esto incluye el descubrimiento del Secuestro Visual y la Paradoja de Capacidad-Consistencia.

5. Significado y Reivindicaciones

El artículo sostiene que el Colapso Estocástico no es simplemente un síntoma de modelos débiles o de un formato superficial, sino una vulnerabilidad estructural arraigada en el manifold de parámetros por los sesgos de frecuencia de tokens pre-entrenados y la sobre-alineación.

• Neutralidad Cognitiva: Los hallazgos desafían la suposición de que los MLLM pueden alcanzar una verdadera neutralidad cognitiva. Incluso cuando el razonamiento es innecesario, las decisiones siguen siendo sistemáticamente sesgadas, excesivamente confiadas y distribucionalmente colapsadas.
• Implicaciones de Riesgo: Los autores destacan que el riesgo más crítico de este fenómeno es la ilusión de toma de decisiones racional. En escenarios del mundo real de alto riesgo y ambigüedad (p. ej., conducción autónoma, diagnóstico médico), los MLLM pueden generar elecciones altamente confiables pero fundamentalmente sesgadas, disfrazadas por racionalizaciones post-hoc, amplificando sesgos sistémicos imperceptibles hacia fallos catastróficos.
• Direcciones Futuras: El trabajo sienta las bases para futuras estrategias de mitigación, sugiriendo que abordar estos sesgos requiere más que modificaciones superficiales de los prompts; demanda intervenciones al nivel de los sesgos de frecuencia de tokens pre-entrenados y la regresión del manifold de embeddings.

Los autores concluyen que lograr una verdadera neutralidad cognitiva en la toma de decisiones ambiguas requiere abordar permanentemente las preferencias heurísticas basadas en datos que están impresas en la topología física de la red.