📈 economics

Model Selection as Policy Choice: Open-Weight LLMs Converge on Institutions but Diverge on Economic Policy

Este estudio demuestra que los modelos de lenguaje de gran tamaño de pesos abiertos no son herramientas intercambiables para el análisis de políticas, ya que la selección del modelo —en lugar de la temperatura de muestreo— impulsa divergencias estables y estructuradas en las preferencias de política económica mientras mantiene el consenso en cuestiones institucionales y ambientales, convirtiendo así la elección del modelo en una decisión de gobernanza crítica.

Autores originales: Tamas Olah, Marianna Abuczki, Nayna Babar, Tibor Tokes

Publicado 2026-07-01

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Tamas Olah, Marianna Abuczki, Nayna Babar, Tibor Tokes

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Idea: No todos los chefs de IA cocinan el mismo plato

Imagina que eres un funcionario del gobierno tratando de decidir sobre una nueva política económica. Le pides consejo a una IA. La mayoría de la gente asume que si le hacen la misma pregunta a cinco modelos de IA diferentes, obtendrán cinco versiones ligeramente distintas de la misma respuesta, como pedirle a cinco personas diferentes que reciten el mismo poema.

Este artículo argumenta que esta suposición es errónea.

En lugar de ser herramientas intercambiables, los autores descubrieron que los diferentes modelos de IA son como diferentes chefs con personalidades y filosofías políticas distintas. Si les haces la misma pregunta sobre la economía, no solo dan palabras diferentes; a menudo eligen recetas completamente diferentes basadas en sus propios "gustos" ocultos.

El Experimento: La prueba de sabor de la IA

Los investigadores organizaron una enorme prueba de sabor.

La Despensa: Reunieron 40 modelos de IA de "pesos abiertos" diferentes (estos son modelos que cualquiera puede descargar y ejecutar en su propia computadora, a diferencia de los secretos que poseen las grandes tecnológicas).
El Menú: Le dieron a cada modelo exactamente el mismo cuestionario. Las preguntas cubrían temas difíciles como la inflación, el desempleo, la vivienda y las relaciones internacionales.
Las Reglas: Para cada pregunta, los modelos debían calificar cuatro respuestas posibles diferentes (A, B, C o D) en una escala de 0 a 100.
La Repetición: Para asegurar que los resultados no fueran simples fallos aleatorios, le hicieron a cada modelo las mismas preguntas 100 veces cada una.

Lo que Descubrieron

1. La "Personalidad" es real, no es aleatoria

Cuando lanzas una moneda al aire, el resultado es aleatorio. Cuando le haces una pregunta a una IA, podrías esperar cierta aleatoriedad también. Los investigadores descubrieron que la aleatoriedad (el ruido) era en realidad muy pequeña.

La Analogía: Imagina un coro. Si los cantantes solo hicieran ruidos aleatorios, el sonido sería un desastre. Pero aquí, los investigadores descubrieron que la "voz" de cada cantante (cada modelo de IA) era muy distinta y estable.
El Resultado: Alrededor del 57% de las diferencias en las respuestas se debieron a qué modelo estaba respondiendo. Cambiar la "temperatura" (un ajuste que hace que la IA sea más o menos aleatoria) apenas cambió la respuesta (menos del 2%). Esto significa que los modelos tienen sesgos estables y predefinidos que no desaparecen simplemente por ajustar un parámetro.

2. Están de acuerdo en "Quién manda", pero pelean por "Cómo gastar el dinero"

Los investigadores utilizaron un mapa estadístico (como un GPS para las ideas) para ver dónde se situaban los modelos. Encontraron dos "líneas de falla" principales donde los modelos diferían:

La línea de "Confianza en las Instituciones" (Donde la mayoría está de acuerdo): Casi todos los modelos coincidieron en que las organizaciones internacionales, las reglas y las instituciones formales son importantes. Todos, en general, simpatizaban con la idea de seguir las reglas y confiar en los expertos.
La línea de "Filosofía Económica" (Donde pelean): Aquí es donde los modelos se dividen.
- Grupo A (Los amantes del mercado): Estos modelos prefieren dejar que el libre mercado decida, recortar regulaciones y priorizar el crecimiento.
- Grupo B (Los intervencionistas): Estos modelos prefieren que el gobierno intervenga para corregir la desigualdad, controlar los precios y proteger el medio ambiente, incluso si eso ralentiza el crecimiento.

La prueba de la "Estanflación":
Los investigadores hicieron una pregunta clásica y difícil: "El país tiene alta inflación Y alto desempleo. ¿Qué hacemos?"

Algunos modelos dijeron: "Aplasta la inflación, incluso si la gente pierde sus empleos".
Otros dijeron: "Salva los empleos, incluso si los precios suben".
Otros dijeron: "Establece reglas estrictas para ambos".
Otros dijeron: "Usa una mezcla de controles extraños y experimentales".
La Sorpresa: Cada una de estas cuatro respuestas fue la "opción principal" para al menos algunos de los modelos. No hubo una única "respuesta de la IA".

3. La trampa de la "Confianza"

Uno de los hallazgos más interesantes fue sobre la confianza.

Algunos modelos eran muy tímidos y decían: "No estoy seguro" (puntuaciones de confianza bajas).
Otros eran muy ruidosos y decían: "¡Sé la respuesta!" (puntuaciones de confianza altas).
El Giro: La confianza de un modelo no dependía de qué tan difícil fuera la pregunta. Dependía enteramente de qué modelo era.
La Analogía: Es como un estudiante que siempre saca un C pero dice "Estoy 100% seguro de que tengo razón", mientras que otro estudiante saca un A pero dice "Solo estoy un 50% seguro". Si eres un creador de políticas, podrías ser engañado para confiar en el modelo ruidoso y seguro de sí mismo, incluso si es tan sesgado como el modelo silencioso.

4. El tamaño no significa "Mejor" política

Podrías pensar que una IA más grande y más inteligente (con más "capacidad cerebral") tendría una visión política más equilibrada o "correcta".

El Hallazgo: Los modelos más grandes eran ligeramente más consistentes (menos ruidosos), pero no tenían una opinión política diferente a la de los modelos más pequeños.
La Analogía: Un robot gigante y superinteligente y un robot pequeño y simple pueden ser ambos "Amantes del Mercado" o ambos "Intervencionistas". No puedes adivinar el sesgo político de un modelo solo mirando su tamaño o su nombre de marca.

La Conclusión: Elegir un modelo es una decisión política

El artículo concluye que elegir qué IA usar no es un detalle técnico; es una decisión de política pública.

La Metáfora: Si contratas a un consultor para que escriba un informe sobre la economía, estás contratando a una persona con una visión del mundo específica. Si contratas al Modelo de IA X, estás contratando a un "Conservador de Mercado". Si contratas al Modelo de IA Y, estás contratando a un "Intervencionista Gubernamental".
El Peligro: Si no sabes esto, podrías pensar que la IA te está dando un hecho neutral y objetivo. Pero en realidad, la IA está inyectando silenciosamente sus propios valores ocultos en tus decisiones políticas.

La Conclusión Final:
Antes de usar la IA para ayudar en la toma de decisiones gubernamentales, debemos tratarla como a un experto humano: Revisar sus antecedentes, conocer sus sesgos y no confiar ciegamente en la opinión de una sola persona. Necesitamos preguntar a múltiples IAs diferentes y comparar sus respuestas para ver el panorama completo, en lugar de dejar que un único modelo "por defecto" decida nuestro futuro por nosotros.

Resumen Técnico: La selección de modelos como elección de política

Planteamiento del problema
Los modelos de lenguaje de gran tamaño (LLM, por sus siglas en inglés) se están integrando cada vez más en el análisis de políticas, la planificación estratégica y el apoyo a la toma de decisiones. Sin embargo, el trabajo aplicado trata frecuentemente a los modelos individuales como instrumentos intercambiables, una suposición que rara vez se somete a pruebas empíricas. El artículo postula que esta suposición es errónea: cuando las tareas y los prompts se mantienen constantes, los LLM pueden diferir sistemáticamente en cómo enmarcan los dilemas económicos e institucionales. Estas diferencias no son meramente ruido de decodificación, sino que reflejan orientaciones estables incrustadas en los datos de entrenamiento, la arquitectura y los objetivos de alineación. En consecuencia, la elección de un modelo específico en contextos de políticas no es un detalle técnico neutral, sino una decisión de gobernanza sustantiva que influye en la narrativa, las enfatizaciones normativas y los compromisos (trade-offs) que se destacan en las propuestas de política.

Metodología
El estudio emplea un diseño experimental controlado y reproducible para mapear las regularidades conductuales de 40 LLM de pesos abiertos ejecutados localmente mediante Ollama.

Generación de datos: Se administró un cuestionario de opción múltiple fijo a todos los modelos. El instrumento abarca dilemas macrofiscales, dilemas regulatorios, instituciones internacionales, percepciones de figuras públicas y marcos interpretativos político-económicos.
Protocolo experimental:
- Replicación: Cada modelo respondió al cuestionario completo 100 veces a dos temperaturas de muestreo ( $T=0.2$ y $T=0.8$ ) para distinguir las orientaciones estables del ruido estocástico.
- Calificación: Para cada ítem, los modelos asignaron una puntuación (0–100) a cuatro marcos de respuesta predefinidos (A–D).
- Normalización: Las respuestas se centraron en relación con la media de la pregunta para eliminar efectos de nivel, centrándose en el orden de preferencia relativo.
Pipeline analítico:
1. Descomposición de la varianza: La varianza total en el apoyo a las opciones se descompuso en varianza entre modelos, efectos de temperatura y ruido de réplica.
2. Reducción de la dimensionalidad: Se aplicó un Análisis de Componentes Principales (PCA) ponderado a los perfiles de respuesta agrupados por modelo para identificar ejes latentes de variación.
3. Clasificación (Clustering): Los modelos se agruparon en el espacio de puntuación de PCA (usando los primeros 16 componentes) para derivar una tipología discreta de "tipos" de modelos.
4. Validación: Los ejes de PCA derivados de los datos se validaron contra una taxonomía de ejes ideológicos codificada manualmente (p. ej., confianza institucional, estado-mercado económico) para asegurar la validez de constructo.
5. Descomposición temática: El estudio localizó dónde se concentra la heterogeneidad comparando las "inclinaciones" de los modelos a través de dominios temáticos específicos.

Resultados clave

Señal vs. Ruido: La identidad del modelo explica el 57% de la variación en el apoyo a las opciones, mientras que la temperatura de muestreo explica menos del 2%. La varianza restante es ruido de réplica, que varía significamente por modelo (oscilando entre el 3% y el 79%). Los perfiles de respuesta dentro de un mismo modelo son altamente estables a través de las temperaturas (correlación mediana $r=0.99$ ), confirmando que las diferencias son orientaciones estables y no artefactos de decodificación.
Dimensiones latentes: El PCA recuperó dos ejes dominantes e interpretables:
1. Dimensión de Confianza Institucional (PC1): Contrasta enmarcados institucionales, coordinados y tecnocráticos (polo positivo) contra enmarcados de soberanía primero, centrados en el ejecutivo o de negociación ad hoc (polo negativo). Este eje correlaciona fuertemente ( $r=0.92$ ) con la confianza institucional codificada a mano.
2. Dimensión Económica-Ambiental (PC2): Contrasta enmarcados de crecimiento del mercado/eficiencia primero frente a enmarcados de sostenibilidad regulada/verde/redistributiva. Este eje correlaciona con el eje económico estado-mercado ( $r=0.48$ ) y la ambición climática ( $|r|=0.60$ ).
Tipología: La clasificación produjo ocho tipos de modelos distintos, que van desde el "pronóstico literalista" y el "intervencionista pragmático" hasta el "saliente en riesgo y soberanía" y el "polarizado, inclinado al Estado".
Heterogeneidad por temas:
- Consenso: Los modelos son casi unánimes en cuanto a la confianza institucional, la apertura y los marcos climáticos (p. ej., el 98% se inclina hacia la ambición climática y la confianza institucional).
- Divergencia: Los modelos se dividen drásticamente en cuestiones económicas. En un único ítem sobre estanflación, los cuatro marcos de política fueron la opción principal para algún subconjunto de modelos. Solo aproximadamente uno de cada cinco modelos se inclina hacia el "mercado" en el eje económico estado-mercado, mientras que el resto se inclina hacia el "Estado".
- Estabilidad: La orientación económica no es un rasgo global fijo; la postura de un modelo sobre una pregunta económica predice débilmente su postura sobre otra ( $\alpha$ de Cronbach $= 0.58$ ).
Confianza y Escala: La confianza autoinformada es mayoritariamente una propiedad fija del modelo (55% de la varianza) más que un reflejo de la dificultad o contestación de la pregunta. La escala de un modelo más grande predice una mayor consistencia (menor ruido), pero no predice una orientación política o preferencia de política específica.

Contribuciones clave

Evidencia empírica de la no intercambiabilidad: El estudio proporciona evidencia robusta de que los LLM de pesos abiertos no son intercambiables en contextos de política. Sus diferencias están estructuradas, son estables y lo suficientemente significativas como para alterar las recomendaciones y justificaciones de políticas.
Marco metodológico: Introduce un proceso reproducible para auditar el comportamiento de los modelos, separando las orientaciones persistentes del ruido de muestreo y mapeando los modelos en dimensiones ideológicas interpretables.
Tipología del comportamiento de los modelos: Establece una tipología compacta de ocho "tipos" de modelos basados en sus perfiles de respuesta, ofreciendo una forma de categorizar los modelos por su lógica de política subyacente en lugar de solo por sus evaluaciones de rendimiento (benchmarks).
Reencuadre de la selección de modelos: El artículo argumenta que la selección de modelos es una decisión de gobernanza relevante. Demuestra que los "valores" incrustados en los modelos son medibles y contestables, desafiando la noción del modelo como un sistema neutral de recuperación de información.

Significancia y afirmaciones
El artículo afirma que los intereses sociales de la selección de modelos son centrales para la comparación técnica de los mismos. Al demostrar que los modelos convergen en enmarcados institucionales y cosmopolitas pero divergen en cuestiones económicas y distributivas, los autores argumentan que la elección del modelo condiciona tanto el marco de política recomendado como su justificación.

La significancia radica en cambiar la perspectiva de "encontrar el modelo correcto" a "hacer visibles las orientaciones de los modelos". Los autores sostienen que tratar la selección de modelos como un detalle técnico oscurece las elecciones de valor inherentes a la automatización de políticas. En su lugar, proponen que:

La selección de modelos debe tratarse como una decisión de gobernanza, similar a las pruebas de robustez en la economía empírica.
Es necesario realizar pruebas de estrés multi-modelo para revelar la sensibilidad de las conclusiones a las tendencias latentes de enmarcación.
Hacer visibles y contestables los valores incrustados en los modelos es una condición previa para su uso responsable en el trabajo de políticas.

El estudio concluye que, si bien los modelos no son neutrales, sus orientaciones específicas no son arbitrarias; están estructuradas, son medibles y son consecuentes. Por lo tanto, la elección del instrumento debe seguir siendo un acto deliberado y responsable para asegurar que la sociedad dé forma a estos sistemas, en lugar de ser silenciosamente moldeada por ellos.