Gemma 4, Phi-4, and Qwen3: Accuracy-Efficiency Tradeoffs in Dense and MoE Reasoning Language Models

Título: Gemma 4, Phi-4 y Qwen3: Compensaciones entre Precisión y Eficiencia en Modelos de Lenguaje de Razonamiento Densos y MoE

1. Planteamiento del Problema

El ecosistema actual de modelos de lenguaje grandes (LLM) presenta una tensión crítica entre la capacidad de razonamiento y la eficiencia operativa. Aunque los modelos de Mezcla de Expertos (MoE) prometen mejores compensaciones calidad-eficiencia al activar solo un subconjunto de parámetros por token, su valor práctico depende del comportamiento end-to-end bajo restricciones de inferencia realistas.

Existe una brecha en la literatura: las comparaciones actuales suelen centrarse en la capacidad bruta (puntuaciones de leaderboards) o en configuraciones de evaluación heterogéneas que dificultan la interpretación cruzada. Los practicantes carecen de datos para responder preguntas clave bajo las mismas condiciones de hardware y protocolo:

• ¿Qué modelos se sitúan en la frontera real de precisión-eficiencia?
• ¿Cómo interactúan la arquitectura (densa vs. MoE), la estrategia de prompting y la composición de la tarea?
• ¿La activación dispersa garantiza automáticamente el mejor punto operativo?

2. Metodología

El estudio presenta un benchmark empírico controlado diseñado para ser reproducible y consciente del despliegue.

• Modelos Evaluados: Se analizaron 7 modelos de código abierto con instrucciones ajustadas, abarcando arquitecturas densas y MoE:
  • Densos: Phi-4-mini-reasoning, Phi-4-reasoning, Qwen3-8B.
  • MoE: Gemma-4-E2B, Gemma-4-E4B, Gemma-4-26B-A4B, Qwen3-30B-A3B.
• Benchmarks (4 tareas):
  • ARC-Challenge: Razonamiento científico de opción múltiple.
  • GSM8K: Razonamiento matemático de primaria.
  • Math Level 1–3: Resolución de problemas matemáticos más complejos.
  • TruthfulQA MC1: Evaluación de veracidad y detección de mitos.
• Estrategias de Prompting (3 regímenes):
  • Zero-shot: Solo la pregunta y una directriz.
  • Chain-of-Thought (CoT): Instrucción "Pensemos paso a paso".
  • Few-shot CoT: Ejemplos resueltos más la instrucción.
• Configuración Experimental:
  • Total de evaluaciones: 8,400 (7 modelos × 4 datasets × 3 estrategias × 100 ejemplos).
  • Entorno unificado: Mismo servidor, pipeline de inferencia, configuración de decodificación (temperatura 0) y extracción de respuestas.
• Métricas: Precisión, latencia media, uso de memoria VRAM (pico), longitud de salida y un proxy aproximado de operaciones de punto flotante (FLOPs) por token.
• Análisis Estadístico: Se utilizaron pruebas de McNemar emparejadas para comparaciones significativas y un análisis de frontera de Pareto para visualizar las compensaciones entre precisión, latencia y memoria.

3. Contribuciones Clave

1. Benchmark Controlado Unificado: Primera comparación directa de modelos densos y MoE recientes bajo un mismo protocolo de hardware y prompting, permitiendo comparaciones justas de capacidad y eficiencia.
2. Marco de Análisis de Pareto Condicionado por Prompt: Introduce una evaluación que no solo reporta precisión, sino que mapea conjuntamente precisión, latencia, uso de memoria y costo computacional, revelando compensaciones ocultas en las comparaciones de solo precisión.
3. Análisis de Inestabilidad: Evidencia empírica de que las clasificaciones de modelos son inestables a través de diferentes regímenes de prompting y familias de tareas, demostrando que los modelos de escala media MoE pueden ocupar fronteras de despliegue particularmente favorables.
4. Reproducibilidad Total: Liberación de un pipeline de evaluación completo, tablas de resultados agregados, análisis de significancia estadística y scripts para la generación de figuras.

4. Resultados Principales

• Rendimiento Global Ponderado:

  • La configuración ganadora fue Gemma-4-E4B con Few-shot CoT, alcanzando una precisión ponderada de 0.675 con un uso de VRAM medio de 14.9 GB.
  • El modelo más grande, Gemma-4-26B-A4B, fue muy cercano en precisión (0.663) pero requirió más del triple de memoria (48.1 GB), lo que lo hace menos eficiente para muchos entornos de despliegue.
  • Los modelos Phi mostraron un rendimiento polarizado: excelentes en TruthfulQA y GSM8K (bajo CoT), pero muy débiles en Math y ARC.

• Sensibilidad al Prompting:

  • GSM8K mostró la mayor sensibilidad. Phi-4-reasoning colapsó de 0.67 (CoT) a 0.11 (Few-shot CoT), mientras que los modelos Gemma mejoraron drásticamente con Few-shot.
  • TruthfulQA: Los modelos Phi dominaron (llegando a 1.00 de precisión), mientras que los modelos Gemma rindieron peor.
  • ARC y Math: Los modelos Gemma (especialmente variantes MoE) dominaron consistentemente.

• Compensaciones Eficiencia-Precisión:

  • La activación dispersa (MoE) no garantiza automáticamente el mejor rendimiento. Por ejemplo, Qwen3-30B-A3B tenía un costo computacional por token bajo, pero su precisión fue muy baja (0.226).
  • Gemma-4-E2B ofreció el mejor compromiso para entornos con recursos muy limitados (9.5 GB VRAM) con una precisión moderada (0.493).
  • Phi-4-mini-reasoning fue el más ligero (7.15 GB VRAM) pero con la precisión ponderada más baja (0.203), aunque excelente en tareas de veracidad.

• Estadística: De 252 comparaciones emparejadas, 181 fueron estadísticamente significativas (p < 0.05), confirmando que las diferencias observadas no son aleatorias.

5. Significado e Implicaciones

El estudio desafía la interpretación unidimensional de los leaderboards de IA. Las conclusiones principales son:

1. No existe un "mejor modelo" universal: La elección óptima depende estrictamente de la carga de trabajo (tarea), el protocolo de prompting y el presupuesto de hardware.
2. El Prompting es parte de la arquitectura operativa: La estrategia de prompting no es un detalle cosmético; puede alterar drásticamente el rendimiento (ej. el colapso de Phi en GSM8K con few-shot).
3. Los modelos MoE de escala media son óptimos para el despliegue: En este estudio, Gemma-4-E4B representa el punto de operación más atractivo, ofreciendo un equilibrio superior entre alta precisión y consumo de recursos moderado, superando a modelos más grandes y densos en la mayoría de las métricas de eficiencia.
4. Evaluación consciente del despliegue: Se recomienda evaluar los modelos no solo por su precisión máxima, sino por su posición en la frontera de Pareto (precisión vs. latencia vs. memoria) bajo las condiciones específicas de la aplicación objetivo.

En resumen, el trabajo proporciona una hoja de ruta para la selección de modelos en entornos reales, demostrando que la arquitectura, la tarea y el prompting interactúan de manera compleja, y que soluciones de escala media como Gemma-4-E4B pueden ofrecer el mejor valor práctico para sistemas de razonamiento.