💰 quantitative finance

Measuring Behavior Portability in Large Language Models

Este artículo introduce un marco formal para medir la portabilidad conductual en los modelos de lenguaje de gran tamaño y demuestra, mediante experimentos controlados, que sus comportamientos de toma de decisiones, a pesar de ser estructuralmente equivalentes, no se transfieren de manera confiable a través de diferentes entornos de decisión debido a una sensibilidad significativa a la presentación superficial.

Autores originales: Tianjia Dong, Nadav Kunievsky, James A. Evans

Publicado 2026-06-23

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Tianjia Dong, Nadav Kunievsky, James A. Evans

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes a un tomador de decisiones muy inteligente y altamente entrenado (una IA) que actúa como un chef profesional. Quieres saber si este chef puede cocinar la misma comida deliciosa sin importar si le pides que la cocine en una elegante cocina francesa, en un rústico bistró italiano o en un moderno diner estadounidense.

El artículo "Measuring Behavior Portability in Large Language Models" plantea una pregunta simple pero crítica: Si una IA aprende cómo tomar una decisión en un entorno, ¿puede tomar esa misma decisión cuando se le describe el problema de manera diferente, incluso si las matemáticas y las recompensas son idénticas?

Los autores llaman a esto "Portabilidad del Comportamiento" (Behavioral Portability).

Aquí tienes un desglose de sus hallazgos utilizando analogías sencillas:

1. El Problema Central: La Trampa del "Encuadre" (Framing)

Imagina que estás jugando un juego en el que tienes que repartir una pizza.

Escenario A: Se te dice: "Tienes una pizza. Dale un poco a tu amigo".
Escenario B: Se te dice: "Tienes una pizza. Tu amigo tiene hambre y merece una parte".

Matemáticamente, las reglas son idénticas. El "beneficio" (cuánta pizza te queda a ti) es el mismo. Pero las palabras utilizadas para describir la situación son diferentes.

Los investigadores probaron si los Modelos de Lenguaje Extensos (LLM) se comportan de manera consistente a través de estas diferentes redacciones. Encontraron que los modelos no son portátiles. Al igual que un chef que cocina un filete perfecto en una cocina francesa pero lo quema en una italiana, la IA cambia su comportamiento basándose en el "sabor" del texto, incluso cuando los "ingredientes" (las matemáticas) son los mismos.

2. El Experimento: Siete Juegos Económicos

Para probar esto, los investigadores no solo hicieron preguntas aleatorias a la IA. Los sometieron a siete juegos económicos clásicos (como el "Juego del Dictador", el "Juego de la Confianza" y la "Elección de Lotería"). Estos son como exámenes de conducción estandarizados para la toma de decisiones.

La Configuración: Crearon docenas de diferentes "versiones" de cada juego. En una versión, el juego podría tratar sobre compartir dinero con un "colega". En otra, podría tratar sobre repartir un "bono" con un "socio".
El Giro: Los números, las reglas y las posibles recompensas eran exactamente iguales. Solo cambió la historia que rodeaba a los números.
La Prueba: Le enseñaron a la IA cómo jugar a los juegos usando las historias de la "cocina francesa". Luego, le pidieron a la IA que jugara el mismo juego usando las historias del "bistró italiano".

3. Los Resultados: La IA se Confunde con la Historia

Los resultados fueron sorprendentes y preocupantes para cualquiera que dependa de decisiones consistentes de la IA:

La IA es Frágil: Cuando la historia cambiaba, las decisiones de la IA cambiaban significamente. Un modelo que aprendió a ser "justo" en una historia podía volverse "egoísta" en una historia matemáticamente idéntica solo porque las palabras eran diferentes.
La Puntuación de "Portabilidad": Los investigadores midieron cuánto cambió el comportamiento de la IA. Encontraron que para los juegos sociales (como compartir o confiar), el comportamiento de la IA era muy inestable. Era como una brújula que gira salvajemente dependiendo de hacia dónde sople el viento, aunque la Estrella Polar no se haya movido.
La Excepción (Loterías): La IA era mucho más estable cuando la tarea se trataba puramente de números y riesgo (como elegir entre dos loterías). Parece que la IA puede manejar mejor las matemáticas que las historias sociales.

4. ¿Ayuda "Pensar en Voz Alta"? (Cadena de Pensamiento / Chain-of-Thought)

Los investigadores probaron un truco común: pedirle a la IA que "piense paso a paso" antes de responder (llamado Cadena de Pensamiento o CoT).

La Esperanza: Tal vez si la IA explica su razonamiento, ignorará la historia distractora y se centrará en las matemáticas.
La Realidad: Ayudó a veces, pero no siempre. En algunos juegos, pensar en voz alta hizo que la IA fuera más consistente. En otros (como el juego del Ultimátum), de hecho hizo que la IA fuera más sensible a la redacción específica de la historia. Es como un estudiante que, cuando se le pide que explique su trabajo, a veces se da cuenta de su error, pero otras veces se distrae con su propia explicación y comete uno nuevo.

5. Los Modelos de "Razonamiento"

También probaron un modelo más nuevo y "inteligente" (DeepSeek-R1) diseñado específicamente para el razonamiento complejo.

El Resultado: Este modelo fue mejor ignorando la historia y centrándose en las matemáticas. Era más "portable". Sin embargo, no era perfecto. Incluso el modelo más inteligente mostró cierta inestabilidad cuando la historia cambiaba.

La Conclusión Final

El artículo concluye que no puedes asumir que el comportamiento de una IA se mantendrá igual solo porque las matemáticas sean las mismas.

Si entrenas a una IA para tomar decisiones justas en un conjunto específico de prompts, no puedes confiar automáticamente en que tomará las mismas decisiones justas cuando describas el problema de una manera ligeramente diferente. La IA es actualmente demasiado sensible al "sabor" del texto.

En resumen: La IA es como un viajero que conoce el mapa perfectamente pero se pierde si le describes el destino usando un lenguaje diferente. Hasta que no arreglemos esto, no podemos confiar plenamente en que estos modelos tomen decisiones consistentes en el mundo real, donde los problemas rara vez se describen exactamente de la misma manera dos veces.

Resumen Técnico: Medición de la Portabilidad del Comportamiento en Modelos de Lenguaje de Gran Escala

Planteamiento del Problema

Los modelos de lenguaje de gran escala (LLM) se despliegan cada vez más como tomadores de decisiones autónomos, mapeando entradas hacia distribuciones sobre acciones. Un desafío crítico en su evaluación es la portabilidad conductual: el grado en que un mapeo de comportamiento aprendido en un entorno de decisión se transfiere a otro entorno que preserva la misma estructura de incentivos subyacente (características relevantes para el beneficio o payoff) pero difiere en la presentación superficial (encuadre irrelevante para el beneficio).

Las prácticas de evaluación actuales dependen de suites de prompts finitas, asumiendo implícitamente que una vez que una tarea es fija, la distribución de acciones inducida por el modelo permanece estable bajo reencuadres irrelevantes para el beneficio. Sin embargo, esta suposición no ha sido probada y es potencialmente frágil. Si el comportamiento de un LLM depende de características irrelevantes para el beneficio (por ejemplo, el tono narrativo, etiquetas específicas o el encuadre), las evaluaciones finitas no pueden certificar de manera fiable el rendimiento en escenarios de despliegue abiertos y del mundo real donde el "contrato" entre el principal y el agente es incompleto. El artículo postula que si un modelo está verdaderamente alineado con los objetivos de un evaluador, su comportamiento debería depender únicamente de las variables relevantes para el beneficio ( $x$ ) y ser invariante ante las variables irrelevantes para el beneficio ( $z$ ).

Metodología

Marco Conceptual

Los autores formalizan un entorno de decisión como $e = (x, z)$ , donde $x$ representa las características relevantes para el beneficio y $z$ representa las características irrelevantes para el beneficio.

Alineación: Una política $\pi$ está alineada si selecciona la distribución de acciones que maximiza la utilidad para un $x$ dado, independientemente de $z$ .
Portabilidad: Una política es $T$ -portable si un resumen conductual $T$ (por ejemplo, la distribución de acciones) depende únicamente de $x$ .
Implicación Teórica: Bajo una condición de unicidad para el óptimo del evaluador, la alineación implica portabilidad. En consecuencia, un modelo de comportamiento ajustado en entornos de origen utilizando solo $x$ debería predecir el comportamiento en un entorno de destino (con la misma distribución de $x$ ) con la misma precisión que un modelo ajustado directamente en los datos del destino.

Protocolo Empírico

Los autores introducen un protocolo de entrenar en entornos, probar en otro para medir la portabilidad:

Selección de Tareas: Se utilizan siete problemas de decisión económica canónicos: Dictador, Ultimátum, Confianza (Trust), Bienes Públicos, Concurso de Belleza (Beauty Contest), Elección de Lotería y Juegos de Forma Normal. Estas tareas ofrecen estructuras de beneficios transparentes y de baja dimensionalidad.
Generación de Entornos: Para cada tarea, se generan 40 entornos textuales distintos ( $z$ ). Estos varían en el encuadre narrativo, metáforas y estilo, manteniendo idénticos los parámetros de beneficio ( $x$ ) y los espacios de acción.
Recolección de Datos: Los LLM son consultados a través de estos entornos con diversos parámetros de beneficio. Las acciones se extraen y se analizan.
Ajuste del Modelo:
- Entrenado en el origen (Source-trained): Se ajusta un modelo conductual interpretable (regresión de Mínimos Cuadrados Ordinarios) sobre los datos agrupados de un subconjunto de entornos de origen, mapeando $x$ hacia las acciones predichas.
- Entrenado en el destino (Target-trained): La misma arquitectura de modelo se ajusta directamente sobre los datos de un entorno de destino excluido.
Evaluación: Ambos modelos se evalúan en el conjunto de prueba del entorno de destino excluido.
Métrica: La métrica principal es la distancia de Variación Total (TV) entre la distribución conjunta de (acción predicha, acción realizada) inducida por el modelo entrenado en el origen versus el modelo entrenado en el destino en el entorno de destino.
- Esta métrica es agnóstica a la pérdida: una distancia TV de $\epsilon$ implica que para cualquier criterio de evaluación acotado definido sobre el par predicción-acción, la diferencia esperada en el rendimiento entre los dos modelos es, a lo sumo, $\epsilon$ .

Modelos y Condiciones

El estudio evalúa varios modelos: GPT-4.1-nano, Gemma-3-12B, Llama-3.1-8B, Llama-3.1-70B y DeepSeek-R1. Los experimentos se realizan bajo dos regímenes de prompting:

Non-CoT: Generación de respuesta directa.
Cadena de Pensamiento (CoT): Razonamiento paso a paso seguido de una respuesta.

Resultados Clave

1. Pérdidas Sustanciales de Portabilidad

El estudio encuentra que la portabilidad conductual es imperfecta en todos los modelos probados.

Magnitud: La distancia TV media entre modelos y juegos es de 0.349, lo que indica una divergencia significativa. Esto implica que un mapeo conductual aprendido en una redacción suele fallar al predecir el comportamiento en una alternativa de equivalencia de beneficios.
Varianza por Tarea: La portabilidad varía según el tipo de tarea.
- Alta Portabilidad: Elección de Lotería (TV $\approx$ 0.052), donde las decisiones son explícitamente cuantitativas.
- Baja Portabilidad: Tareas sociales y estratégicas como Dictador (TV $\approx$ 0.525), Confianza (TV $\approx$ 0.525) y Ultimátum (TV $\approx$ 0.480). Estas tareas, que involucran equidad, cooperación o reciprocidad, muestran la mayor sensibilidad al encuadre.

2. Impacto de la Cadena de Pensamiento (CoT)

El prompting de CoT mejora la portabilidad en promedio, pero no lo hace de forma monótona ni uniforme.

Mejora Promedio: CoT reduce la distancia TV media en 0.047 (12.6%) en comparación con Non-CoT.
Heterogeneidad: El efecto de CoT depende de la interacción entre el modelo, el juego específico y el encuadre.
- En juegos de Forma Normal, CoT reduce drásticamente la pérdida de portabilidad (por ejemplo, -79.7% para GPT-4.1-nano), probablemente al anclar el razonamiento a la matriz de beneficios explícita.
- En los juegos de Ultimátum y Dictador, CoT a veces aumenta la pérdida de portabilidad (por ejemplo, +21.3% para GPT-4.1-nano en Ultimátum), sugiriendo que los rastros de razonamiento pueden amplificar la sensibilidad a las narrativas de equidad o a la redacción específica en lugar de abstraerse de ellas.
Diagnóstico: Añadir indicadores de entorno a los modelos predictivos aumenta el $R^2$ más bajo condiciones de Non-CoT que de CoT, confirmando que CoT reduce pero no elimina la dependencia residual del encuadre irrelevante para el beneficio.

3. Modelos de Razonamiento

DeepSeek-R1, un modelo especializado en razonamiento, demuestra una portabilidad superior en las tareas donde fue probado (Elección de Lotería, Concurso de Belleza, Forma Normal).

Se sitúa consistentemente cerca de la mejor frontera de portabilidad observada.
Mecanismo: DeepSeek-R1 exhibe una alta "fundamentación numérica", mencionando parámetros relevantes para el beneficio en casi el 100% de las respuestas. Sus motivos de razonamiento están organizados en torno a estructuras de tareas formales (por ejemplo, valor esperado, equilibrio de Nash) en lugar de narrativas específicas del encuadre.
Soporte de Nash: En juegos de Forma Normal, DeepSeek-R1 selecciona acciones soportadas por un equilibrio de Nash en el 99.5% de los casos, superando significativamente a otros modelos.

Significado y Reivindicaciones

El artículo afirma proporcionar un marco formal y evidencia empírica de que las caracterizaciones conductuales de los LLM obtenidas en un entorno de decisión no pueden asumirse como transferibles de manera fiable a alternativas estructuralmente equivalentes.

Implicaciones de Evaluación: Los resultados desafían la práctica estándar de extrapolar el rendimiento de suites de prompts finitas a variantes textuales no vistas. Si la portabilidad es baja, el comportamiento de un modelo en una suite de prueba puede no reflejar su comportamiento en el despliegue, incluso si los incentivos subyacentes son idéntamente iguales.
Alineación: Los hallazgos sugieren que los LLM actuales no están totalmente "alineados" en el sentido de ser invariantes a las características irrelevantes para el beneficio. Sus procesos de toma de decisiones son sensibles al "contrato" de la forma superficial del prompt.
Robustez: Aunque CoT y los modelos especializados en razonamiento (como DeepSeek-R1) pueden mejorar la portabilidad al recuperar la estructura subyacente de los beneficios, no la garantizan. La sensibilidad al encuadre sigue siendo una propiedad fundamental de los modelos probados.

El estudio concluye que la portabilidad es un objeto empírico que debe medirse, no una propiedad que pueda certificarse mediante una suite finita, y que lograr una verdadera portabilidad conductual en los LLM sigue siendo un desafío significativo.