Exploring Geographic Relative Space in Large Language Models through Activation Patching

Resumen Técnico: Exploración del Espacio Relativo Geográfico en Modelos de Lenguaje Grandes mediante Parcheo de Activaciones

Enunciado del Problema
La creciente integración de Modelos de Lenguaje Grandes (LLM) en la investigación y el análisis geográfico plantea preocupaciones significativas de seguridad debido a una comprensión limitada de sus mecanismos internos. Si bien estudios anteriores han demostrado que los LLM procesan la información geográfica de manera espacial, los métodos de interpretabilidad existentes, como el sondeo y los autoencoders dispersos, ofrecen solo evidencia preliminar. Existe una necesidad crítica de ir más allá de la correlación para establecer relaciones causales entre las activaciones del modelo y el procesamiento de conceptos geográficos específicos, particularmente el "espacio relativo", un concepto fundamental en la geografía cuantitativa.

Metodología
Este estudio emplea el parcheo de activaciones, una técnica de interpretabilidad mecánica, para investigar cómo el LLM Gemma 2 2B procesa el concepto de "cerca" en contraste con expresiones de distancia cuantitativa. El diseño experimental implica un procedimiento de tres pasos:

1. Indicador Limpio: Se procesa un indicador que afirma que una ubicación está "ubicada cerca de la ciudad de [Lugar]" para capturar las activaciones de referencia y las probabilidades de salida.
2. Indicador Corrupto: Se procesa un indicador estructuralmente similar donde "cerca" se reemplaza con distancias cuantitativas específicas (por ejemplo, "cinco millas", "doscientas millas", hasta "mil millas").
3. Parcheo: El indicador corrupto se procesa nuevamente, pero las activaciones del indicador limpio se inyectan en puntos de cálculo específicos (específicamente los ganchos de salida del Perceptrón Multicapa) para reemplazar las activaciones generadas por el indicador corrupto.

El estudio utiliza un conjunto de datos de 249 lugares poblados del Reino Unido. Un desafío metodológico clave abordado es la asimetría de tokens entre el token único "cerca" y las expresiones cuantitativas de múltiples tokens (por ejemplo, "cinco millas"). Los autores optaron por el enfoque más simple sin relleno ni expansión de tokens para evitar introducir mayor complejidad, aceptando que el parcheo sustituye solo una porción de las activaciones corruptas.

El efecto del parcheo se cuantifica utilizando la divergencia Kullback–Leibler (KL). La métrica mide la diferencia entre las distribuciones de probabilidad del siguiente token generado por el indicador corrupto frente al indicador limpio, en comparación con la distribución generada por el cálculo parcheado frente al indicador limpio.

Resultados Clave
Los resultados preliminares indican que el parcheo de activaciones influye significativamente en la salida del modelo, revelando capas y tokens específicos involucrados en el procesamiento del espacio relativo:

• Sensibilidad de Capas: Parchear el tercer token en las primeras capas del LLM produce el impacto más fuerte. Este token corresponde al final de la cantidad numérica en el indicador corrupto (por ejemplo, "cien" en "doscientas millas"). Interrumpir este punto hace que el modelo vuelva a procesar el concepto de "cerca" en lugar de la distancia específica.
• Codificación Difusa: El efecto se vuelve menos prominente y más difuso en el cuarto y quinto tokens (correspondientes a "millas de"), lo que sugiere una codificación más compleja y distribuida de la información del espacio relativo geográfico a través de la red neuronal.
• Magnitud de la Distancia: Las distancias más largas (cientos de millas) exhiben un efecto de parcheo más fuerte en comparación con intervalos más cortos.
• Excepciones: Se producen excepciones notables en "cien" y "mil millas", las cuales muestran un efecto tenue. Los autores sugieren que esto puede deberse a una divergencia general más baja en las probabilidades en comparación con "cerca", lo que podría indicar una interpretación menos literal de estas escalas específicas o un cambio en la escala geográfica utilizada para definir "cerca".

Significado y Afirmaciones
El artículo afirma proporcionar una visión inicial de los mecanismos internos mediante los cuales los LLM manejan los indicadores geográficos, avanzando más allá de la evidencia preliminar para identificar vínculos causales entre las activaciones y el razonamiento geográfico. Al demostrar que interrupciones específicas en las primeras capas alteran el enfoque del modelo de la distancia cuantitativa a la proximidad relativa, el estudio destaca la compleja interconexión de conceptualizaciones y escalas en el procesamiento de los LLM.

Los autores declaran explícitamente que estos hallazgos son preliminares. Subrayan que es necesario un análisis más amplio que involucre un conjunto más grande de nombres de lugares e indicadores para validar estos resultados. El trabajo sirve como un paso fundamental hacia el desarrollo de estudios especializados que puedan apoyar el despliegue seguro de LLM en geografía, elucidando cómo estos modelos representan y procesan internamente los conceptos espaciales.