Imagina que tienes un cerebro robótico masivo y superinteligente construido para resolver acertijos, escribir código y traducir idiomas. Este cerebro no está hecho de un único bloque gigante y pesado de metal; en su lugar, está construido como una gigantesca fábrica con cientos de estaciones de trabajo especializadas. Este es el mundo de los Modelos de Lenguaje de Gran Escala (LLM), los motores de IA que impulsan todo, desde chatbots hasta asistentes de programación. Para que estos cerebros sean rápidos y eficientes, los ingenieros utilizan un truco llamado Mezcla de Expertos (MoE, por sus siglas en inglés). Piensa en esto como un equipo gigante de 256 "expertos" diferentes en cada una de las habitaciones de la fábrica. Cuando llega una pregunta, un gerente inteligente (llamado "enrutador") decide qué pocos expertos son necesarios para resolver ese problema específico, mientras que el resto del equipo se toma un descanso para tomar café. Esto mantiene al robot rápido porque solo despierta a los trabajadores que realmente necesita.

Pero aquí surge la gran pregunta: ¿Son todos esos trabajadores igual de importantes? Si tuvieras que encoger la fábrica para ahorrar espacio y electricidad, ¿podrías simplemente despedir al 30% de los trabajadores en cada habitación de forma aleatoria? ¿O existe un patrón secreto? Los científicos han estado conjeturando, pero no tenían un mapa claro de qué partes del cerebro son frágiles y cuáles son robustas. Comprender esto es importante porque estos modelos se están volviendo enormes, y si podemos "podar" (eliminar) de forma segura las partes innecesarias, podemos hacer que funcionen más rápido en computadoras más baratas, ahorrando energía y dinero sin perder su inteligencia.

---

La Gran Auditoría de la Fábrica: ¿A quién podemos dejar ir?

En este artículo, un equipo de investigadores de Persistent Systems decidió jugar un juego de alto riesgo de "cortar el cable" en un modelo de IA específico y masivo llamado Qwen3.6-35B-A3B. Este modelo es una bestia: tiene 40 capas (piensa en ellas como 40 pisos en una fábrica tipo rascacielos), y en cada piso, hay 256 expertos. Cada vez que el modelo procesa una palabra, elige a los 8 mejores expertos para realizar el trabajo.

Los investigadores querían averiguar: Si obligamos al modelo a ignorar a los "expertos más débiles" (aquellos con los números más pequeños en sus cerebros) en ciertas capas, ¿el modelo colapsa o sigue funcionando? Probaron esto en una tarea difícil: traducir código de un lenguaje de programación a otro (como convertir C++ en Python), utilizando un benchmark llamado XLCoST.

El Descubrimiento: Todo depende de dónde cortes

El equipo probó cortando expertos en diferentes patrones, como un cirujano probando diferentes sitios de incisión. Tenían tres teorías principales:

1. La Teoría del "Corte Plano": Simplemente corta el 30% de los expertos más débiles de cada piso, en todas partes.
2. La Teoría del "Corte Temprano": ¿Quizás los pisos inferiores son los más importantes?
3. La Teoría del "Corte Tardío": ¿Quizás los pisos superiores solo están repitiendo lo que los pisos inferiores ya hicieron?

Los resultados fueron un choque total para la idea del "Corte Plano".
Cuando probaron el Corte Plano (eliminando el 30% de los expertos de los 40 pisos), el modelo básicamente olvidó cómo hacer su trabajo. De 300 acertijos de programación, solo logró 150 correctamente (o "Bueno/Similar"). Empezó a alucinar, a filtrar su proceso de pensamiento interno en el código final y a cometer errores de sintaxis. Fue como despedir al 30% del personal en la base, en las oficinas intermedias y en el último piso al mismo tiempo: todo el edificio empezó a tambalearse.

Pero entonces, encontraron la "Zona Mágica".
Los investigadores descubrieron que la sensibilidad del modelo cambia drásticamente dependiendo de en qué piso te encuentres:

• Pisos 0–9 (La Base): Estos son súper frágiles. Si cortas expertos aquí, el modelo se rompe inmediatamente.
• Pisos 10–29 (El Medio): También son muy frágiles.
• Pisos 30–39 (El Ático): ¡Estos pisos superiores son sorprendentemente resistentes! Los expertos aquí parecen estar haciendo mucho trabajo superpuesto. El "enrutador" (el gerente) ya está confundido aquí, eligiendo expertos con muy poca confianza, lo que significa que los expertos son algo intercambiables.

La Estrategia Ganadora: El Recorte "De Arriba hacia Abajo"

El equipo realizó un experimento masivo con 300 prompts para encontrar el programa de recorte perfecto. Descubrieron que si centran sus cortes solo en los pisos superiores, el modelo se mantiene sano.

• La Estrategia de "Rampa Tardía": Cortaron el 35% de los expertos en los pisos 30–34, y el 55% en los pisos más altos (35–39).
• El Resultado: De 300 prompts, ¡esta estrategia mantuvo 255 salidas funcionando correctamente! Eso es mucho mejor que el corte plano, y eliminó más de 1,100 expertos.

Pero esperen, no se detuvieron ahí. Querían estar seguros de que esto no era solo un golpe de suerte, así que probaron sus mejores ideas con un nuevo conjunto de 500 prompts sin precedentes. Aquí es donde la historia se puso aún más interesante.

En la prueba más grande, la "Rampa Tardía" seguía siendo buena, pero una estrategia más estrecha se llevó el premio:

• La Estrategia de "Solo Muy Tardío": Solo tocaron los últimos 5 pisos (35–39) y cortaron el 50% de los expertos allí.
• El Resultado: ¡Esta pequeña intervención quirúrgica mantuvo 419 de 500 salidas funcionando perfectamente! Incluso mejor, solo eliminó 640 expertos en total (de un total de 10,240 expertos en todo el modelo).

Esto significa que los investigadores encontraron una manera de eliminar una parte significativa del "músculo" del modelo desde la parte superior, y el modelo apenas lo notó. Es como darse cuenta de que los 5 pisos superiores de un rascacielos son mayormente balcones decorativos; puedes quitar la mitad de la barandilla y el edificio se mantiene igual de alto.

Una Misión Secundaria: El Misterio de "Pensar" vs. "Responder"

El equipo también intentó ver si el modelo utiliza diferentes expertos cuando está "pensando" (razonando un problema) frente a cuando está "respondiendo" (escribiendo el código final). Utilizaron una versión ligeramente más antigua del modelo (Qwen3.5) para ver si podían detectar una diferencia.
Descubrieron que durante la fase de "pensamiento", el modelo utiliza una multitud de expertos amplia y desordenada. Pero cuando llega el momento de "responder", se vuelve más enfocado y utiliza menos expertos. Esto sugiere que si queremos podar el modelo en el futuro, podríamos tener que tener cuidado de no cortar a los expertos del "pensamiento", incluso si parecen débiles en el papel. Sin embargo, los autores advierten que esto es solo una pista para el futuro, no una regla probada todavía.

¿Qué pasa con la Velocidad?

También probaron un trucción diferente: en lugar de cortar expertos, le dijeron al modelo que solo elija 6 expertos en lugar de los habituales 8 para cada palabra. En una pequeña prueba de 100 prompts, esto hizo que el modelo funcionara mucho más rápido (menos "tiempo de reloj de pared") sin perder calidad. Pero, cuando intentaron combinar este aumento de velocidad con el corte agresivo de expertos, el modelo se confundió. Parece que no se pueden apilar estos atajos uno sobre otro sin probarlos cuidadosamente.

La Conclusión

La principal enseñanza de este artículo es un "No lo hagas" para la poda uniforme y un "Haz esto" para la poda inteligente.

• No cortes el 30% de los expertos de cada capa por igual; eso destruye la capacidad de pensar del modelo.
• Sí enfoca tus cortes en las capas superiores (pisos 35–39). El modelo es sorprendentemente tolerante a perder la mitad de sus expertos allí.

Los autores advierten cuidadosamente que aún no han eliminado los pesos de la memoria de la computadora (solo le dijeron al enrutador que los ignore). Por lo tanto, aunque el modelo actúa como si fuera más pequeño y eficiente, sigue ocupando la misma cantidad de espacio en el disco duro. El siguiente paso, que sugieren para trabajos futuros, es realizar una verdadera "cirugía de peso físico" para eliminar permanentemente esos expertos no utilizados y ahorrar espacio de almacenamiento real.

En resumen, los investigadores descubrieron que el "cerebro" de este modelo de IA tiene un punto débil muy específico: los pisos superiores son mucho más redundantes que los inferiores. Al recortar la parte superior, podríamos construir modelos de IA más pequeños, rápidos y económicos sin romperlos.