Resumen Técnico: Control de la Utilización de Herramientas mediante el Direccionamiento de Activación Específico por Encabezados

Planteamiento del Problema

Los modelos de lenguaje de gran tamaño (LLM) aumentados con herramientas extienden sus capacidades más allá del conocimiento paramétrico mediante la integración de herramientas externas (p. ej., búsqueda web, ejecución de código). Sin embargo, un modo de fallo persistente es el uso excesivo de herramientas, donde los modelos invocan herramientas innecesariamente incluso cuando el razonamiento interno es suficiente. Esto conlleva un aumento en la latencia, el coste y la posible propagación de errores.

Las estrategias de mitigación existentes suelen requerir un reentrenamiento costoso o actúan en la interfaz de salida, fallando al no abordar el proceso de toma de decisiones latente dentro de las activaciones internas del modelo. Surge un desafío fundamental porque, a diferencia de conceptos como el sentimiento o la veracidad, que están codificados en los pesos del modelo durante el entrenamiento, las herramientas existen enteramente en el contexto durante la inferencia. En consecuencia, los supuestos estándar de la hipótesis de representación lineal y la ingeniería de representaciones —donde los conceptos tienen una base paramétrica estable— no se aplican directamente. El artículo investiga si las decisiones de uso de herramientas poseen una representación interna estable que pueda ser extraída y manipulada a pesar de su naturaleza no paramétrica.

Metodología

Los autores proponen un método de intervención ligero en tiempo de inferencia llamado Direccionamiento de Activación Específico por Encabezados (Heading-Specific Activation Steering). El enfoque se basa en trayectorias de generación estructuradas donde el modelo emite razonamiento intermedio utilizando encabezados de sección explícitos (Anclajes de Encabezado o Heading-Anchors) tales como ### Reasoning, ### Code, ### Search y ### AskUser.

1. Construcción del Vector de Direccionamiento

El método construye vectores de direccionamiento específicos para cada herramienta analizando los estados ocultos en las posiciones de los tokens correspondientes a estos Anclajes de Encabezado.

• Recopilación de Datos: Los autores recopilan trayectorias de múltiples turnos etiquetadas que contienen encabezados de herramientas específicos.
• Extracción de Estados: Se extraen los estados ocultos de una capa $l^*$ específica en el token correspondiente al marcador de anclaje líder ### tanto para el estado de ### Reasoning como para el estado del encabezado de la herramienta objetivo (p. ej., ### Code).
• Cálculo de Delta: Para cada trayectoria, se calcula un delta de direccionamiento como la diferencia entre el estado oculto promedio de los anclajes de razonamiento y el estado oculto promedio de los anclajes de la herramienta:
  $$\Delta^{(l)}_{k,i} = \bar{h}^{(l)}_{R,i} - \bar{h}^{(l)}_{k,i}$$
• Agregación de Vectores: Estos deltas se promedian a través de múltiples trayectorias para formar el vector de direccionamiento final $v^{(l)}_k$. Este promedio a nivel de muestra evita el sesgo hacia trayectorias con una mayor frecuencia de ocurrencia de anclajes.

2. Mecanismos de Intervención

Los vectores extraídos se aplican en los pasos de formación del Anclaje de Encabezado durante la inferencia utilizando dos mecanismos distintos:

• Adición de Activación (Supresión): El vector de direccionamiento se añade al estado oculto para desplazarlo lejos de la representación de invocación de la herramienta:
  $$\tilde{h}^{(l^*)}_t = h^{(l^*)}_t + \alpha v^{(l^*)}_k$$
  (donde $\alpha=1$).
• Ortogonalización (Amplificación): El estado oculto se proyecta para ser ortogonal al vector de direccionamiento, eliminando el componente de supresión para fomentar el uso de herramientas:
  $$\tilde{h}^{(l^*)}_t = h^{(l^*)}_t - \text{proj}_{v^{(l^*)}_k}(h^{(l^*)}_t)$$

Resultados Clave

El estudio evalúa cinco modelos de instrucción de código abierto (Mistral-7B, Llama-3.1-8B, Mistral-Nemo, Mistral-Small, Llama-3.1-70B) en tres dominios: Matemáticas (razonamiento paramétrico suficiente), Tiempo (requiere información actualizada) e Intención (requiere aclaración del usuario).

1. Control Causal Bidireccional

• Supresión: La adición de activación reduce significativamente las tasas de invocación de herramientas. En el dominio de Matemáticas, el uso de herramientas se suprimió a niveles cercanos a cero (p. ej., de 3.90 a 0.56 llamadas por prompt para Mistral-7B) con solo caídas modestas en la precisión de la tarea, lo que indica que muchas llamadas a herramientas en este dominio eran redundantes.
• Amplificación: La ortogonalización aumentó consistentemente el uso de herramientas por encima de la línea base en todos los modelos y dominios. Sin embargo, este aumento artificial no mejoró el rendimiento de la tarea y a menudo degradó la precisión, lo que sugiere que el modelo base ya mantiene un equilibrio interno parcial y que eliminar el vector de supresión conduce al uso excesivo.
• Especificidad de Dominio: La supresión fue más efectiva en Matemáticas pero degradó en los dominios de Tiempo e Intención, donde la recuperación externa o la aclaración son genuinamente necesarias. En estos dominios, suprimir el uso de herramientas provocó caídas significativas en el rendimiento, confirmando que la intervención respeta la necesidad de las herramientas cuando el conocimiento paramétrico es insuficiente.

2. Irregularidad Geométrica

Contrario a la "estructura lineal limpia" observada en conceptos con base paramétrica (como el rechazo o la veracidad), el análisis geométrico de los vectores de uso de herramientas reveló:

• Alineación Bimodal Difusa: Los pasos de invocación de herramientas exhibieron una distribución de similitud de coseno bimodal y difusa con respecto al vector de supresión, en lugar de la alineación negativa consistente predicha por los modelos de codificación lineal.
• Baja Superposición entre Herramientas: Diferentes tipos de herramientas (Code, Search, AskUser) reclutaron dimensiones de características internas mayoritariamente distintas con una baja superposición de Jaccard (p. ej., ~0.04–0.06 para la superposición de tres vías).
• Desacoplamiento de Decodificabilidad y Control: En el modelo Llama-3.1-70B, una sonda lineal supervisada pudo separar perfectamente los estados de ### Code de ### Reasoning (AUROC 1.000), pero la dirección identificada por la sonda fue mucho menos efectiva para la supresión causal del uso de herramientas que el vector de diferencia de medias. Esto sugiere que la dirección que es causalmente más efectiva para el control es geométricamente distinta de la dirección que es más linealmente decodificable.

3. Robustez

Se encontró que la intervención es sensible al esquema, pero no únicamente a la cadena de texto literal de la superficie. Al probar con transferencia de formato cruzado (Markdown a JSON) y renombramiento de encabezados, el efecto de supresión persistió incluso cuando la palabra literal "Code" estaba ausente, aunque el efecto fue asimétrico y dependiente del esquema.

Significancia y Reivindicaciones

El artículo afirma ser uno de los primeros en aplicar el direccionamiento de activación a un comportamiento que es explícitamente no paramétrico por construcción. La principal significancia radica en demostrar que:

1. Existe Control Causal: A pesar de la falta de codificación paramétrica para las herramientas en los pesos del modelo, los vectores de direccionamiento anclados a encabezados pueden ejercer un control causal bidireccional sobre el comportamiento de invocación de herramientas.
2. Geometría No Paramétrica: Las propiedades geométricas de los vectores de direccionamiento de uso de herramientas difieren fundamentalmente de las de los conceptos con base paramétrica. La irregularidad geométrica observada (alineación difusa, baja superposición) se hipotetiza como una consecuencia predicha de la naturaleza no paramétrica de las herramientas, distinguiéndolas de conceptos como el sentimiento o el rechazo.
3. Utilidad Práctica: El método ofrece un mecanismo de inferencia sin parámetros para mitigar el uso excesivo de herramientas, particularmente en dominios donde el razonamiento paramétrico es suficiente, sin el coste de un reentrenamiento.

Los autores concluyen que, si bien la efectividad causal del direccionamiento es clara, la relación entre esta efectividad y la irregularidad geométrica observada sigue siendo una pregunta abierta, potencialmente vinculada a la estructura de dependencia de múltiples turnos de las trayectorias aumentadas con herramientas.