Geometric Deviation as an Unsupervised Pre-Generation Reliability Signal: Probing LLM Representations for Answerability

Resumen Técnico: Desviación Geométrica como Señal de Fiabilidad Pre-Generación No Supervisada

Enunciado del Problema
La alucinación —la generación de respuestas confiables pero incorrectas— sigue siendo un desafío crítico de fiabilidad para los Modelos de Lenguaje Grandes (LLM) desplegados. Aunque trabajos anteriores han explorado la calibración de la incertidumbre, clasificadores de sondeo interno y la dirección de representaciones, muchos métodos existentes dependen de datos de fallo etiquetados, requieren acceso a las salidas del modelo (post-generación) o son sensibles a arquitecturas de modelo específicas. La pregunta central abordada por este trabajo es si la geometría de representaciones no supervisada por sí sola puede funcionar como una señal de fiabilidad pre-generación práctica. Específicamente, ¿puede el modelo detectar que una consulta es incontestable antes de generar cualquier token, sin ejemplos de fallo etiquetados ni muestreo de salida?

Metodología
Los autores proponen un enfoque mínimo y no supervisado que mide la distancia coseno del estado oculto de un prompt desde el centroide de un conjunto de referencia de prompts conocidos contestables ("representaciones de clase contestable").

• Diseño Experimental: El estudio utiliza tres modelos ajustados por instrucciones de escala similar (7–8B parámetros): Llama 3.1-8B, Qwen 2.5-7B y Mistral-7B.
• Construcción de Prompts (Pares Emparejados): Para aislar la contestabilidad de las variaciones de nivel superficial (dominio, longitud, sintaxis), los autores construyen pares emparejados para tres formas de prompt:
  • MATEMÁTICAS: Preguntas bien definidas de aritmética/álgebra (Contestables, A) emparejadas con variantes estructuralmente idénticas que contienen cantidades u operaciones no definidas (Incontestables, U).
  • HECHOS: Preguntas factuales verificables emparejadas con variantes que hacen referencia a eventos futuros incognoscibles o entidades inexistentes.
  • CÓDIGO: Expresiones de Python con retornos deterministas emparejadas con variantes que están indefinidas, generan excepciones o requieren computación ilimitada.
• Extracción de Señal: Se extraen los estados ocultos, se promedian sobre los tokens de entrada y se centran en la media para eliminar la anisotropía. La puntuación de fiabilidad es la distancia coseno de un prompt al centroide del conjunto Contestable (A) dentro de su forma específica.
• Líneas Base: La señal geométrica se compara contra:
  1. Línea Base de Rechazo: Un clasificador de palabras clave en la salida generada (detectando rechazos explícitos).
  2. Auto-consistencia (AC): Una línea base post-generación que utiliza 5 muestras para medir el desacuerdo de salida.

Contribuciones y Hallazgos Clave

1. La Geometría Codifica la Forma de la Tarea: La geometría de las representaciones está organizada principalmente por la forma sintáctica de la tarea (Matemáticas, Hechos, Código) en lugar de solo por el contenido semántico. Los prompts incontestables dentro de una forma específica tienden a permanecer dentro del agrupamiento geométrico de esa forma, aunque su posición relativa al centroide varía.
2. Señal de Fiabilidad Condicional a la Forma:
   • MATEMÁTICAS (Señal Fuerte): Los prompts matemáticos incontestables se desvían consistentemente del centroide contestable. Esto produce una separación fuerte en los tres modelos (ROC-AUC 0.78–0.84), superando significativamente tanto a la línea base de rechazo como a la auto-consistencia. La señal captura casos donde los modelos alucinan sin rechazar explícitamente.
   • HECHOS (Sin Señal): No emerge una separación geométrica fiable para la incontestabilidad factual (p > 0.34). La incontestabilidad factual (por ejemplo, eventos futuros) es sintácticamente indistinguible de los hechos contestables, dejando el agrupamiento geométrico intacto.
   • CÓDIGO (Señal Mixta/Variable): Se observan tamaños de efecto grandes (d de Cohen > 1.0), lo que sugiere que el fenómeno se generaliza al código, aunque la significación estadística es mixta debido a una mayor varianza dentro del grupo en las expresiones de Python en comparación con las matemáticas.
3. Perfil de Señal por Capa: La señal de contestabilidad es un fenómeno de capas tempranas. La brecha entre las representaciones contestables e incontestables alcanza su punto máximo en las capas 2–5 y generalmente se atenúa hacia la capa final. La atenuación es impulsada por las representaciones contestables que se desvían hacia una variedad "lista para generar" en capas más profundas, en lugar de por la decadencia de las señales incontestables.
4. Consenso Trans-modelo vs. Divergencia Conductual: Existe un fuerte consenso geométrico entre los modelos sobre tipos específicos de prompts incontestables (por ejemplo, "el primo más grande"), lo que indica que la señal refleja propiedades estructurales a nivel de entrada. Sin embargo, las respuestas conductuales divergen: Qwen tiende a rechazar estos prompts, mientras que Llama a menudo alucina. Esto sugiere que el entrenamiento de alineación moldea cómo actúan los modelos sobre las anomalías geométricas, no la existencia de la señal de anomalía en sí misma.

Significado y Afirmaciones
El artículo afirma que la desviación geométrica sirve como una señal de fiabilidad pre-generación ligera, no supervisada, pero con límites claros:

• Eficacia: Es altamente efectiva en dominios estructurados donde la incontestabilidad introduce inconsistencias estructurales (por ejemplo, operaciones indefinidas matemáticas, código mal tipado). En estos casos, supera a las líneas base basadas en salida (palabras clave de rechazo, auto-consistencia) y opera con latencia de inferencia cero.
• Limitaciones: La señal es condicional a la forma, no universal. No logra detectar la incontestabilidad en consultas factuales de dominio abierto donde la sintaxis sigue siendo válida a pesar de que el contenido sea incognoscible.
• Mecanismo: La señal se establece temprano en la red (capas 2–5), lo que sugiere que el modelo codifica violaciones estructurales antes de comprometerse con una estrategia de generación.

Conclusión
Los autores concluyen que, aunque la desviación geométrica no es un detector universal de alucinaciones, proporciona un mecanismo principiado y de bajo costo para verificaciones de fiabilidad pre-generación en dominios con restricciones formales de contestabilidad. Los hallazgos destacan que la relación entre la geometría interna y el comportamiento del modelo está modulada por el entrenamiento de alineación, y que las activaciones de capas tempranas pueden ofrecer señales de fiabilidad más fuertes que la capa de salida final.