Resumen Técnico: Descomposición de cómo el prompting dirige el comportamiento

Declaración del Problema

Los prompts de instrucción permiten que los Modelos de Lenguaje Grande (LLM) y los Modelos de Lenguaje-Visión (VLM) alteren su comportamiento en el tiempo de inferencia sin actualizaciones de pesos. Aunque está establecido que los prompts reestructuran las representaciones internas, la naturaleza mecánica específica de esta transformación sigue siendo incierta. La literatura existente ha caracterizado estos cambios mediante métricas escalares (p. ej., similitud representacional, capacidad del manifold) o ha demostrado que operadores de baja complejidad diseñados (p. ej., vectores aditivos, rotaciones) pueden dirigir el comportamiento. Sin embargo, existe una brecha en la comprensión de la clase de transformación matemática que ocurre naturalmente cuando una instrucción cambia. Específicamente, se desconoce si los cambios inducidos por el prompt se explican mejor mediante traslaciones simples, transformaciones rígidas, mezclas afines o no linealidades complejas, y si estas transformaciones impulsan causalmente los cambios de comportamiento observados.

Metodología

Los autores introducen un marco de descomposición geométrica anidada para analizar cómo los prompts remodelan la geometría representacional. El enfoque central consiste en tratar el prompting como una transformación del manifold representacional para el contenido que sigue al prompt.

1. Jerarquía Geométrica Anidada

Para un modelo dado, una capa, un conjunto de datos y un par de prompts (Prompt Origen $A$ y Prompt Destino $B$), los autores ajustan una secuencia de mapas cada vez más expresivos e invariantes al estímulo $f: \mathbb{R}^D \to \mathbb{R}^D$ que alinean los estados ocultos de $A$ con los de $B$. La jerarquía consta de cinco clases de transformación estrictamente anidadas:

1. Traslación ($F_T$): Un simple desplazamiento de la media ($x + b$).
2. Transformación Rígida con Escalamiento Uniforme ($F_{O_u}$): Rotación/reflexión y escalamiento uniforme ($b + c(x-a)Q$).
3. Transformación Rígida con Escalamiento por Ejes ($F_{O_a}$): Permite el escalamiento independiente de los ejes alineados ($b + (x-a)QD$).
4. Transformación Afín ($F_L$): Mezcla lineal general más traslación ($b + (x-a)M$).
5. Transformación No Lineal ($F_N$): Un MLP (Perceptrón Multicapa) compartido ($b + g_\theta(x-a)$).

2. Métricas de Evaluación

El marco evalúa estas transformaciones utilizando tres familias de medidas en estímulos no vistos (held-out):

• Varianza Explicada Incremental ($\Delta R^2$): La varianza adicional en las representaciones del prompt destino explicada por cada nivel sobre el anterior en la cadena anidada.
• Métricas de Geometría Representacional: Correlación de Spearman entre la Matriz de Disimilitud Representacional (RDM) transformada y la RDM de la tarea destino, junto con puntuaciones de silueta para medir la separación de clusters.
• Intervención Causal: El mapa ajustado se aplica al estado oculto de un prompt de origen en una sola capa, reemplazando el estado original. El modelo continúa entonces el paso hacia adelante (forward pass). El resultado se evalúa en términos de relevancia (abordar el atributo destino) y precisión (corrección de la respuesta) frente a la verdad de campo del prompt destino.

3. Configuración Experimental

• Modelos: Tres LLMs (OPT-2.7B, Llama3-8B-Instruct, Qwen3-8B) y tres VLMs (BLIP-2, LLaVA-OneVision, Qwen3-VL).
• Conjuntos de Datos: Seis conjuntos de datos (tres de texto: EmotionalStory, WritingStyle, Number; tres de imagen: EmoSet, StyleTransfer, COCO) con estructuras de atributos factoriales para soportar comparaciones de prompts intra-atributo y entre atributos.
• Pares de Prompts: Seis grupos que van desde pares de atributos cruzados (p. ej., tema $\to$ emoción) hasta prompts de origen irrelevantes.

Resultados Clave

1. El Prompting Remodela la Geometría hacia la Estructura de la Tarea

Los cambios representacionales inducidos por el prompting crecen de forma casi monótona con la profundidad de la capa. Crucialmente, la geometría representacional del prompt destino se alinea cada vez mejor con la estructura de la tarea (medida por la correlación RDM y las puntuaciones de silueta) a medida que aumenta la profundidad, separándose claramente del prompt de origen en las capas más profundas.

2. Los Mapas de Baja Complejidad Explican la Mayor Parte de la Varianza

En todos los modelos y conjuntos de datos, la traslación explica la mayor parte del cambio representacional inducido por el prompt, dominando en las capas iniciales. Las transformaciones rígidas con escalamiento uniforme proporcionan la siguiente contribución significativa.

• Las transformaciones afines son el primer nivel que recupera casi por completo la geometría de la tarea del prompt destino y produce las ganancias correspondientes en el acuerdo conductual.
• Las transformaciones no lineales ofrecen la recuperación más fuerte pero presentan rendimientos decrecientes respecto a los mapas afines; el salto de la transformación rígida con escalamiento por ejes a la afín es más significativo que el salto de la afín a la no lineal.

3. Estrategias de Enrutamiento Específicas de Modelo y Tarea

• Diferencias entre Modelos: OPT-2.7B depende más de los componentes de rotación, reflexión y no linealidad en comparación con Llama3 y Qwen3, que parecen utilizar "códigos de instrucción" de menor dimensión (dominados por la traslación).
• Diferencias entre Pares de Prompts: Ciertos pares de prompts (p. ej., consultas de sí/no) dependen más de transformaciones de rotación y afines que los pares de respuesta abierta.
• Dependencia de la Profundidad: La traslación domina en las capas tempranas, mientras que los niveles de mayor complejidad (afín, no lineal) contribuyen más en las capas medias a profundas.

4. Validación Causal

Las intervenciones causales confirman que simplemente trasladar el estado oculto puede dirigir sustancialmente el comportamiento. Sin embargo, las transformaciones afines son el umbral crítico para recuperar tanto la geometría representacional de la tarea como la alta precisión conductual. Esto sugiere que la mezcla lineal entre dimensiones es un mecanismo clave para reorganizar las representaciones hacia la tarea instruida.

Significado y Reivindicaciones

El artículo afirma proporcionar un marco general para descomponer los cambios de representación inducidos por el prompting en componentes geométricos interpretables. El hallazgo principal es que el efecto del prompting de instrucción puede entenderse en gran medida como una transformación afín de la representación del contenido.

• Perspectiva Mecanística: Los autores argumentan que, si bien la traslación hace "la mayor parte del trabajo" al desplazar la representación, la rotación y el cizallamiento (componentes afines) corrigen el componente estructural residual necesario para la alineación de la tarea.
• Interpretabilidad: Al cuantificar la contribución de cada nivel de transformación, el marco revela cómo los modelos enrutan la estructura relevante de la tarea. Sugiere que el prompting natural se implementa mediante transformaciones de baja complejidad en el espacio de activación, en lugar de requerir reestructuraciones no lineales complejas.
• Limitaciones: Los autores señalan explícitamente que su análisis se limita a prompts de instrucción zero-shot y no evalúa demostraciones few-shot, soft prompts o condicionamiento de contexto largo. La intervención se restringe a una sola capa y un solo token.

Este trabajo se posiciona no como un método para diseñar nuevos operadores de dirección, sino como una herramienta de diagnóstico para comprender la naturaleza geométrica del prompting natural, sugiriendo que las consecuencias operativas del prompting se concentran en la estructura fina residual (rotación y pequeñas partes no lineales) después de la traslación primaria.