Text Corpora as Concept Fields: Black-Box Hallucination and Novelty Measurement

Resumen Técnico: Corpos Textuales como Campos Conceptuales

Enunciado del Problema
Los métodos actuales para detectar alucinaciones de los LLM o evaluar la fundamentación a menudo dependen de los internos de modelos de caja blanca, métricas de perplejidad de caja gris o enfoques de caja negra que requieren una calibración intensiva (por ejemplo, LLM como juez). Estas soluciones existentes son frecuentemente costosas, dependientes de la arquitectura o carecen de interpretabilidad operativa. Además, muchos enfoques geométricos en el espacio de incrustaciones se limitan a comparaciones pares (por ejemplo, DTW) o carecen de un mecanismo para tener en cuenta la incertidumbre local dentro de un corpus. Los autores proponen un cambio de ver la alucinación como un fallo binario a un concepto más amplio de fundamentación: si una salida está respaldada por un corpus objetivo. Este encuadre aplica tanto al cumplimiento (donde la desviación es negativa) como a la creatividad (donde la desviación es positiva).

Metodología
La contribución central es el Campo Conceptual, un campo de deriva local con incertidumbre puntual estimada en el espacio de incrustaciones de oraciones. La metodología procede de la siguiente manera:

1. Base de Datos de Secuencias Vectoriales (VSDB): Los autores introducen una capa de almacenamiento que mantiene incrustaciones de oraciones de dimensión fija junto con metadatos de posición en la secuencia e información de "siguiente delta" ($\Delta_{i,j} = v_{p+1} - v_p$). Esto permite que el sistema trate un corpus no solo como un saco de oraciones, sino como una colección de trayectorias en el espacio de incrustaciones.
2. Construcción del Campo Conceptual: Utilizando la VSDB, los autores calculan una densidad de probabilidad local de transiciones de oraciones. Al tratar el corpus como un "campo vectorial", definen una deriva determinista donde el "flujo" representa el siguiente concepto más probable dada una oración actual. Este campo se estima utilizando interpolación de Ponderación por Distancia Inversa (IDW) sobre los vecinos más cercanos en el espacio de incrustaciones.
3. Mecanismo de Puntuación ($\zeta$): Para evaluar una transición de oración candidata, el sistema calcula la distancia z absoluta media ($\zeta$) entre el delta observado y la estimación gaussiana local del Campo Conceptual.
   • Un $\zeta$ pequeño indica acuerdo estadístico con el flujo del corpus (fundamentado).
   • Un $\zeta$ grande indica una desviación del flujo del corpus (no fundamentado o novedoso).
   • La puntuación es totalmente de caja negra (no requiere internos del modelo), atribuible al corpus (rastreada hasta oraciones específicas del corpus) y admite una interpretación probabilística directa.
4. Análisis Geométrico: Los autores exploran la divergencia y el rotacional del Campo Conceptual en clusters densos. Una alta divergencia indica "fuentes de lógica" (puntos de partida comunes) o "sumideros de lógica" (conclusiones comunes), mientras que un alto rotacional sugiere "temas implícitos" o regiones donde los vectores circulan alrededor de un concepto central sin un flujo lineal claro.

Contribuciones Clave

1. Campo Conceptual vía VSDB: Una representación a nivel de corpus del flujo de secuencias de oraciones con incertidumbre local, implementada a través de una novedosa Base de Datos de Secuencias Vectoriales.
2. Detección Selectiva de Fundamentación: Una política de triaje (Fundamentado / No fundamentado / Incierto) basada en umbrales de $\zeta$. Este enfoque logra tasas de error bajas en casos aceptados mientras mantiene un grupo "incierto" para transiciones ambiguas.
3. Robustez Transversal de Dominios: El mismo mecanismo soporta tanto comprobaciones de fundamentación estilo cumplimiento (detección de alucinaciones en texto legal) como comprobaciones de desviación estilo novedad (detección de desviaciones creativas en literatura) sin recalibración de umbrales.
4. Geometría del Corpus: Evidencia cualitativa de que las características topológicas (divergencia/rotacional) en el Campo Conceptual corresponden a patrones semánticos significativos, como flujos de razonamiento comunes o regiones de evitación.

Resultados Experimentales
Los autores evaluaron el enfoque en dos configuraciones a gran escala:

• CFR (Código de Regulaciones Federales): Un corpus factual/legal utilizado para probar la detección de alucinaciones. El sistema se probó en pares de oraciones reescritas por LLM, distinguiendo entre aquellos que preservaron el significado (fundamentados) y aquellos que cambiaron la semántica (no fundamentados).
• Proyecto Gutenberg: Un corpus de literatura general utilizado para probar la detección de novedad, donde la "no fundamentación" (alto $\zeta$) es una característica deseable para la escritura creativa.

Hallazgos de Rendimiento:

• Clasificación Selectiva: Bajo una política de triaje (por ejemplo, $\zeta_{bajo}=1, \zeta_{alto}=3.75$), el método logró una puntuación F1 de 0.978 y un AUC de 0.984 en el conjunto de datos CFR con una cobertura de ~56% (44% de los ejemplos marcados como "incierto").
• Comparación con Línea Base: El Campo Conceptual superó o igualó a las líneas base que utilizaban distancia de vecino más cercano simple (Euclidiana o Coseno) en la VSDB. Crucialmente, mientras que las líneas base basadas en distancia requerían ajuste de umbrales específico del corpus, el Campo Conceptual mantuvo un rendimiento consistente y una interpretación de umbrales coherente en ambos dominios CFR y Gutenberg.
• Comportamiento Cobertura-Riesgo: El método demostró compromisos cobertura-riesgo similares en ambos dominios, apoyando la afirmación de que la interpretación basada en probabilidades de $\zeta$ se transfiere efectivamente entre corpora factuales y creativos.
• Insights Geométricos: El análisis cualitativo de la divergencia y el rotacional reveló clusters semánticamente coherentes (por ejemplo, "GOOOOAAALL!!" como un sumidero de lógica en comentarios deportivos, o frases regulatorias específicas como fuentes/sumideros de lógica en CFR).

Significado y Afirmaciones
El artículo afirma que los Campos Conceptuales proporcionan una señal rápida, ligera e interpretable para la fundamentación y la novedad que es complementaria a los jueces LLM y detectores de caja blanca.

• Interpretabilidad: A diferencia de los jueces de caja negra, cada puntuación se rastrea hasta oraciones cercanas del corpus, ofreciendo explicabilidad.
• Eficiencia: Una vez indexado, el método es más rápido y económico (sin uso de tokens de API) que la evaluación basada en LLM, ejecutándose en CPUs comerciales.
• Agnosticismo Lingüístico: El enfoque no está atado a arquitecturas de modelos específicas, haciéndolo aplicable a varios idiomas del mundo.
• Modestia: Los autores encuadran el análisis geométrico (divergencia/rotacional) como "generador de hipótesis" en lugar de un resultado cuantitativo definitivo. Reconocen que la calidad del Campo Conceptual depende de los datos, señalando que los corpora lógicamente consistentes (como las leyes) producen campos más fiables que los datos ruidosos de internet. El trabajo se presenta como un paso fundamental, dejando espacio para que la comunidad mejore los esquemas de incrustación y los métodos de interpolación.