Resumen Técnico: MERA Multi – Un Marco de Evaluación Multimodal para Arquitecturas de Lengua Rusa

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) están avanzando rápidamente; sin embargo, sus capacidades, limitaciones y riesgos aún no se comprenden suficientemente, particularmente en el contexto del idioma ruso. Los benchmarks existentes se centran predominantemente en el inglés y en dominios generales (por ejemplo, MultiBench, MMBench), descuidando los matices lingüísticos y culturales de las lenguas eslavas. El ruso presenta desafíos específicos debido a su alfabeto cirílico, su rico contexto cultural (por ejemplo, el folclore, los medios soviéticos) y su complejidad morfológica, lo que hace que la traducción directa de los benchmarks centrados en el inglés sea inadecuada. Además, aunque existen benchmarks de texto para el ruso (por ejemplo, Russian SuperGLUE, MERA), existe una brecha crítica en los marcos de evaluación multimodal que cubran las modalidades de imagen, audio y video.

Metodología

Los autores presentan MERA Multi, el primer marco de evaluación multimodal abierto diseñado específicamente para arquitecturas de habla rusa. El marco se basa en instrucciones y abarca cuatro modalidades: texto por defecto, imagen, audio y video.

1. Estructura del Benchmark y Datos

• Alcance: El benchmark consta de 18 tareas de evaluación distribuidas en 11 conjuntos de datos de imagen, 4 conjuntos de datos de audio y 3 conjuntos de datos de video.
• Composición de los Datos: Para equilibrar la reproducibilidad y la novedad, el benchmark integra 7 tareas de conjuntos de datos de código abierto disponibles públicamente y 11 tareas construidas desde cero. Los conjuntos de datos privados están diseñados para incorporar especificidades culturales rusas, abordar categorías de habilidades poco exploradas y mitigar la contaminación de datos.
• Formatos de Tarea: Las tareas se formulan ya sea como preguntas de opción múltiple (MC) o preguntas abiertas que requieren respuestas cortas de forma libre.
• Taxonomía: La evaluación se fundamenta en una taxonomía unificada de capacidades multimodales, categorizadas en tres grupos cognitivos amplios: Conocimiento (común, de dominio, experto), Percepción (detallada de instancia única/inter-instancia, alineación cross-modal) y Razonamiento (inductivo, deductivo, abductivo, cuantitativo).

2. Pipeline de Evaluación

• Estrategia de Prompting: El marco emplea un esquema de block-prompting para construir prompts universales. En lugar de codificar rígidamente prompts específicos para cada tarea, utiliza un conjunto de 10 bloques de prompts predefinidos (por ejemplo, ganchos de atención, solicitudes de razonamiento, formatos de respuesta) para asegurar la consistencia permitiendo al mismo tiempo una variación controlada para evitar la saturación del benchmark. El análisis estadístico confirma que la formulación del prompt impacta significativamente en las puntuaciones de los modelos, justificando el uso de múltiples variantes de prompts.
• Métricas de Puntuación:
  • Coincidencia Exacta (EM): Un análogo generativo de la precisión utilizando comparación de cadenas normalizada.
  • Puntuación del Juez (JS): Una métrica de similitud semántica calculada mediante un modelo dedicado de LLM-como-juez (basado en RuModernBERT). Este modelo es entrenado con datos anotados por humanos para evaluar la equivalencia semántica, logrando un F1 de 0.96 y una concordancia del 99.6% con EM en respuestas idénticas.
  • Puntuación Final: La puntuación de la tarea es el promedio de EM y JS.
• Agregación: La Puntuación Total combina la Puntuación de Intento (calidad en las tareas que el modelo intentó) y la Cobertura (amplitud del benchmark intentado). Este enfoque permite un ranking justo sin imputar ceros arbitrarios por modalidades ausentes.
• Protección de Datos: Para prevenir la filtración del benchmark, los autores emplean marcas de agua de datos (usando AudioSeal para audio y superposiciones visuales para imágenes/video) y un detector de Ataque de Inferencia de Membresía Semántica Multimodal (MSMIA) para identificar si los modelos fueron entrenados con los datos del benchmark.

Contribuciones Clave

1. Taxonomía Unificada: Una taxonomía propuesta y metodología de evaluación diseñada específicamente para la evaluación de MLLM, cubriendo conocimiento, percepción y razonamiento a través de las modalidades.
2. Nuevos Conjuntos de Datos: La creación de 18 conjuntos de datos, muchos de ellos construidos desde cero, incorporando especificidades culturales y lingüísticas rusas, prompts unificados y métricas.
3. Resultos de Referencia (Baselines): Resultados exhaustivos de rendimiento base para más de 50 modelos disponibles públicamente (que oscilan entre 1B y 110B de parámetros) y modelos propietarios (GPT-4.1), cubriendo arquitecturas tanto de código abierto como de código cerrado.
4. Protección contra Filtraciones: Una metodología robusta de análisis de filtración de datos y marcas de agua para proteger los conjuntos de datos de evaluación privados, asegurando la validez de futuras evaluaciones.
5. Infraestructura: Un código base estandarizado para la reproducibilidad y una plataforma de envío con puntuación automatizada y un leaderboard público.

Resultados

La evaluación de más de 50 modelos revela varias tendencias:

• Brechas de Modalidad: Existe una brecha significativa entre modalidades. Mientras que la comprensión de imágenes es relativamente madura, la comprensión de audio y video está subrepresentada tanto en términos de capacidades de los modelos como de cobertura de datasets, lo que se refleja en puntuaciones más bajas.
• Omni-Modelos vs. Especialistas: Los omni-modelos (por ejemplo, Qwen3-Omni-30B, Qwen2.5-Omni-7B) generalmente alcanzan puntuaciones de Total Score más altas debido a una mayor cobertura, incluso si sus puntuaciones por modalidad no son las absolutas más altas. Los modelos especialistas (por ejemplo, Ultravox para audio, LLaVA-NeXT-Video para video) a menudo muestran un fuerte desempeño en su dominio específico pero sufren de bajos puntajes de cobertura.
• Top Performers: El mejor performer, Qwen3-Omni-30B-A3B-Instruct, alcanzó un Total Score de 0.5, impulsado por un alto Attempted Score (0.563) y Cobertura (0.889). GPT-4.1 lideró en la modalidad de imagen pero tuvo un Total Score más bajo (0.159) debido a una baja cobertura (0.333).
• Discrepancia de Métricas: En la mayoría de los modelos, la Puntuación del Juez (JS) es mayor que la Coincidencia Exacta (EM), lo que indica que los modelos a menudo producen respuestas semánticamente correctas que violan las instrucciones estrictas de formato de salida.

Significancia

El artículo posiciona a MERA Multi como el primer marco integral para la evaluación multimodal transparente y culturalmente fundamentada en ruso. Su significancia radica en:

• Llenar un Vacío Crítico: Abordar la ausencia de benchmarks multimodales para el ruso, una lengua eslava importante.
• Hoja de Ruta Metodológica: Proporcionar una metodología replicable para la construcción de benchmarks multimodales en lenguas tipológicamente diversas, particularmente dentro de la familia eslava, donde la traducción directa de los benchmarks en inglés es insuficiente.
• Base para la Comunidad: Establecer una base para prácticas de evaluación transparentes, fomentando las contribuciones de la comunidad y promoviendo el desarrollo de modelos multimodales culturalmente conscientes para lenguas que no sean el inglés.

Los autores reconocen limitaciones, señalando que las 18 tareas pueden no cubrir todas las capacidades de los modelos o dominios especializados, y que los resultados de inferencia pueden variar según el stack de hardware-software. También señalan que el trabajo actual se centra en las capacidades semánticas y no evalúa explícitamente los sesgos de los modelos hacia minorías subrepresentadas, identificando esto como una dirección para trabajos futuros.