Resumen Técnico: La Topología de las Preguntas Mal Planteadas

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) encuentran frecuentemente preguntas mal planteadas (ill-posed questions)—consultas que son ambiguas, insuficientemente especificadas, contradictorias o carecen del contexto necesario. A diferencia de los problemas bien planteados, estas consultas pueden admitir ninguna respuesta válida o múltiples interpretaciones plausibles. Los enfoques existentes para manejar la mal formulación se centran principalmente en analizar los resultados del modelo (por ejemplo, detectando patrones de rechazo) o en enfocarse en subclases específicas de ambigüedad mediante la reescritura de entrada-salida. Estos métodos suelen tratar al LLM como una caja negra, fallando al capturar la representación interna unificada de diversas fuentes de mal formulación. En consecuencia, los mecanismos de control actuales suelen colapsar en plantillas de rechazo genéricas en lugar de guiar al modelo hacia una clarificación consciente de la fuente o una abstención dirigida.

Metodología

El artículo propone un marco que analiza y dirige el comportamiento de los LLMs modelando los estados ocultos internos de los tokens de la instrucción (prompt) como una estructura topológica.

1. Representación de Nube de Tokens por Capas

En lugar de comprimir un prompt en un único vector agrupado, los autores tratan los estados ocultos contextuales de los tokens de un prompt en cada capa $l$ del transformador como una nube de puntos $X^{(l)}(q)$.

• Reducción de Dimensionalidad: Para gestionar el ruido y el costo computacional, los estados de los tokens se proyectan en un espacio de menor dimensión utilizando el Análisis de Componentes Principales (PCA) ajustado al conjunto de entrenamiento.
• Análisis Topológico: La geometría de estas nubes de tokens se analiza mediante la homología persistente de dimensión cero finita ($H_0$). Este método rastrea cómo los componentes de tokens inicialmente desconectados se fusionan a medida que aumenta un umbral de distancia (radio de filtración).
• Interpretación: Una pregunta bien planteada induce estados de tokens que se coaligan en una estructura coherente de forma temprana en la filtración. Una pregunta mal planteada preserva grupos separados o débilmente conectados (que representan entidades, contextos o restricciones no resueltos) hasta escalas mayores, resultando en patrones de fusión distintos.

2. Descriptores Topológicos Compactos

Para cada capa, el diagrama de persistencia $H_0$ finita se resume en tres descriptores escalares de dimensión fija:

1. Vida Media ($\mu$): La escala promedio en la que los componentes se fusionan, indicando el grado de fragmentación.
2. Entropía de Vida Normalizada ($E$): Mide la distribución de los eventos de fusión (difusos vs. concentrados).
3. Concentración de la Vida Máxima ($R$): La relación entre la suma de las cinco vidas más grandes y el total, capturando la dominancia de las separaciones principales.

Estos descriptores se concatenan a través de todas las $L$ capas para formar un vector de topología $z(q) \in \mathbb{R}^{3L}$ que representa la pregunta.

3. Control de Activación Condicionado por la Topología

El marco utiliza estos vectores de topología para dos propósitos:

• Clasificación: Un clasificador supervisado predice la mal formulación binaria o subtipos finos (por ejemplo, polisemia, falta de contexto temporal) directamente desde el vector de topología.
• Control Local (Local Steering): En lugar de aplicar una única dirección de "abstención" global, el método recupera ejemplos positivos (clarificación/abstención) y negativos (respuesta directa) topológicamente similares del conjunto de entrenamiento.
  • Se construye un vector de control local $v_{local}$ como la diferencia entre las activaciones medias de estos vecinos recuperados.
  • Este vector se añade a los estados ocultos durante las etapas de prefill y decodificación, guiando al modelo hacia una respuesta que aborde la fuente específica de la mal formulación mientras preserva el contenido semántico de la pregunta original.

Principales Contribuciones

1. Representación Topológica Unificada: Introdujo una representación de nube de tokens por capas que cuantifica la conectividad multiescala de las preguntas mal planteadas mediante la homología persistente $H_0$ finita.
2. Extracción de Características Compactas: Demostró que tres estadísticas compactas (vida media, entropía, concentración) derivadas de las vidas de $H_0$ forman una representación robusta y de baja dimensión capaz de soportar tanto la detección binaria como la clasificación de 9 vías de la mal formulación.
3. Control Condicionado por la Topología: Desarrolló un mecanismo de control que utiliza la similitud topológica para seleccionar pares de contraste específicos de la consulta, permitiendo que el modelo pase de la respuesta directa a una abstención o clarificación consciente de la fuente sin colapsar en rechazos genéricos.

Resultados Experimentales

El marco fue evaluado en tres LLMs de pesos abiertos (Gemma-7B-it, Llama-3.1-8B-Instruct, Mistral-7B-Instruct-v0.3) a través de tres bancos de pruebas: AmbigQA y SituatedQA (detección binaria) y CLAMBER (clasificación de 9 vías).

• Rendimiento de Clasificación:

  • AmbigQA: La precisión mejoró del 67.4% (línea base AEN) al 78.9%.
  • SituatedQA: La precisión mejoró del 79.9% al 88.5%.
  • CLAMBER (9 vías): La precisión mejoró del 57.6% al 69.6%.
  • Las características topológicas superaron consistentemente a las líneas base basadas en prompts (zero-shot, few-shot, CoT) y a las líneas base de sondeo de neuronas (AEN).

• Rendimiento de Control (Steering):

  • El control condicionado por la topología aumentó la tasa de respuesta Aceptable Fundamentada (Grounded Acceptable) (respuestas que identifican y abordan correctamente el elemento faltante/ambiguo) del 11.9% al 16.4% en promedio.
  • La tasa Total Aceptable (fundamentada + genérica) aumentó del 61.4% al 70.6%.
  • Crucialmente, el método redujo los rechazos "genéricos" en favor de respuestas "fundamentadas", lo que indica que el control logró preservar la información específica de la pregunta mientras alteraba el comportamiento de la respuesta.

Significado y Reivindicaciones

El artículo afirma que la homología persistente proporciona una representación interpretable de la mal formulación que captura cómo la estructura de conectividad interna del modelo se transforma a través de las capas. La significancia radica en demostrar que:

1. La mal formulación no es meramente un fenómeno a nivel de salida, sino que está codificada en la disposición geométrica de los estados de los tokens durante la etapa de prefill.
2. Los descriptores topológicos pueden servir como claves de recuperación efectivas para el control de activación local, permitiendo intervenciones dirigidas que son sensibles al subtipo específico de mal formulación (por ejemplo, distinguir entre ambigüedad léxica y falta de contexto temporal).
3. Este enfoque va más allá de las plantillas de rechazo fijas, permitiendo que los LLMs produzcan respuestas que son tanto abstentes (cuando es necesario) como informativas respecto a la naturaleza específica de la ambigüedad de la consulta.

Los autores señalan limitaciones, incluyendo que el alcance se restringe a tres modelos ajustados por instrucciones y tres bancos de pruebas de QA, y sugieren que trabajos futuros podrían explorar la homología de mayor dimensión ($H_1$) o aprender pesos de agregación de capas.