💬 NLP

Efficient Knowledge Probing of Large Language Models by Adapting Pre-trained Embeddings

Este artículo presenta PEEK, un método computacionalmente eficiente que adapta modelos de incrustación preentrenados con un decodificador lineal para predecir con precisión el conocimiento fáctico de los modelos de lenguaje de gran tamaño a escala, evitando así los altos costos de las técnicas tradicionales de sondeo de paso hacia adelante.

Autores originales: Kartik Sharma, Yiqiao Jin, Rakshit Trivedi, Srijan Kumar

Publicado 2026-01-27

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Kartik Sharma, Yiqiao Jin, Rakshit Trivedi, Srijan Kumar

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una biblioteca gigante e increíblemente inteligente (un Modelo de Lenguaje Extenso, o LLM) que ha leído casi todo lo que hay en internet. Quieres saber exactamente qué hechos tiene memorizados y cuáles ha olvidado.

El Problema:
Actualmente, para comprobar si una biblioteca conoce un hecho específico (como "Garífuna es una población de Guatemala"), tienes que acercarte al bibliotecario, hacerle la pregunta y esperar una respuesta. Si quieres comprobar millones de hechos, esto es como intentar leer cada uno de los libros de la biblioteca uno por uno. Es lento, costoso y, si la biblioteca es una "caja negra" (no puedes ver cómo piensa), no puedes asomarte a su cerebro para ver qué sabe sin preguntárselo directamente.

La Solución (PEEK):
Los autores de este artículo proponen una nueva herramienta llamada PEEK (Proxy Embeddings to Estimate Knowledge - Incrustaciones Proxy para Estimar el Conocimiento). Piensa en PEEK como un "radar de conocimiento" de alta tecnología o un bibliotecario en la sombra.

En lugar de preguntarle a la biblioteca gigante cada una de las preguntas, PEEK utiliza un "escáner" más pequeño y rápido y preentrenado (un modelo de incrustación o embedding) para adivinar qué sabe la gran biblioteca.

Así es como funciona, paso a paso:

La Fase de Entrenamiento (Enseñando al Escáner):
Primero, los investigadores toman una pequeña muestra de hechos y le preguntan a la gran biblioteca: "¿Conoces esto?". Registran la respuesta de la biblioteca (Sí/No, o qué tan segura está). Luego, toman un escáner más pequeño y rápido y le muestran el texto de esos hechos. Ajustan la configuración del escáner (como sintonizando una radio) hasta que la "suposición" del escáner coincida con la respuesta real de la gran biblioteca.
- Analogía: Imagina que tienes a un chef maestro (el LLM) y a un segundo chef (sous-chef) (el modelo de incrustación). Pruebas la sopa del chef maestro y le dices al segundo chef: "Esta sopa está salada". Sigues ajustando el sazón del segundo chef hasta que ellos puedan predecir exactamente qué tan salada será la sopa del chef maestro, solo con mirar la lista de ingredientes.
La Fase de Predicción (El Radar):
Una vez que el escáner está ajustado, ya no necesitas preguntarle a la gran biblioteca. Simplemente introduces un nuevo hecho en el escáner. El escáner predice instantáneamente: "La gran biblioteca sabe esto" o "La gran biblioteca no sabe esto".
- Analogía: Ahora, en lugar de preguntarle al chef maestro que pruebe cada ingrediente nuevo, el segundo chef mira la lista de ingredientes e instantáneamente dice: "El chef sabe cocinar esto".

Lo que Encontraron:

Velocidad y Precisión: Este método del "escáner" es increíblemente rápido y preciso. En sus pruebas, pudo predecir lo que la gran biblioteca sabía con hasta un 90% de precisión sin haberle preguntado a la gran biblioteca ni una sola vez.
Texto vs. Mapas: Probaron dos tipos de escáneres: uno que lee oraciones (un modelo de incrustación de oraciones) y otro que lee mapas de conexiones (una red neuronal de grafos). Descubrieron que el escáner de oraciones funcionaba mucho mejor. Parece que la gran biblioteca organiza su conocimiento más como una colección de oraciones que como un mapa rígido de conexiones.
No es Necesario Asomarse al Interior: A diferencia de otros métodos que requieren observar las ondas cerebrales internas de la biblioteca (capas ocultas), PEEK solo necesita el texto del hecho. Esto significa que funciona incluso si la biblioteca es una "caja negra" a la que no puedes tocar.

Por qué esto es Importante:
El artículo sugiere que, antes de permitir que estas bibliotecas de IA gigantes nos ayuden con tareas importantes (como la atención médica o el derecho), deberíamos usar este "escáner" para comprobar rápidamente sus brechas de conocimiento. Es una forma barata y eficiente de decir: "Oye, esta IA no sabe sobre X, así que arreglemos eso antes de dejar que hable con un paciente".

En Resumen:
PEEK es una forma de construir un proxy rápido y económico que aprende a imitar la base de conocimientos de una IA gigante. Una vez entrenado, este proxy puede escanear millones de hechos para decirte qué sabe la IA gigante, ahorrándote el tiempo y el dinero de preguntarle directamente a la IA gigante.

Resumen Técnico: Sondeo Eficiente del Conocimiento de Grandes Modelos de Lenguaje mediante la Adaptación de Embeddings Preentrenados

Declaración del Problema

Los Grandes Modelos de Lenguaje (LLMs) adquieren vastas cantidades de conocimiento factual a través de diversos dominios durante el preentrenamiento generativo. Sin embargo, debido a los objetivos de aprendizaje estocásticos y a los datos de entrenamiento ruidosos, mapear el paisaje de conocimiento específico de un LLM sigue siendo un desafío. Los métodos actuales para sondear este conocimiento —como la creación de prompts específicos, la investigación de representaciones ocultas o la estimación de la incertidumbre epistémica— requieren pasadas hacia adelante (forward passes) a través del LLM subycente. Estos enfoques son computacionalmente costosos, lentos y, a menudo, inviables para modelos extremadamente grandes o de caja negra, lo que limita la capacidad de identificar eficientemente las brechas de conocimiento antes de su despliegue en aplicaciones intensivas en conocimiento como la salud y el derecho.

Metodología: PEEK (Proxy Embeddings to Estimate Knowledge)

Los autores proponen PEEK, un marco que utiliza modelos de embeddings preentrenados como proxies para estimar el conocimiento de los LLMs sin consultar directamente a los LLMs. La hipótesis central es que los embeddings pueden codificar eficazmente el conocimiento factual y que, al ser adaptados, pueden predecir las salidas de los LLMs con alta precisión.

1. Funciones de Sondeo de Conocimiento

Para establecer la verdad de referencia (ground truth) para los modelos proxy, los autores definen cuatro estrategias de sondeo distintas para determinar si un LLM ( $M$ ) conoce un hecho específico ( $f$ ):

Generación Binaria: Prompting al LLM con preguntas de sí/no respecto a la veracidad de una afirmación.
Generación de Logits Binarios: Extracción de los logits de los tokens esperados ('sí'/'no') del LLM para medir la "confianza externa".
Predicción de Activación Binaria: Entrenamiento de una cabeza lineal sobre las representaciones ocultas (activaciones del último token) del LLM para predecir la veracidad, midiendo la "confianza interna".
Generación de Hechos: Uso de generación abierta (por ejemplo, biografías) y etiquetado de hechos atómicos como soportados (conocidos) o no soportados (desconocidos) basándose en bases de conocimiento externas.

2. Modelos de Embedding Proxy

El marco utiliza dos tipos de modelos de embedding preentrenados para representar los hechos:

Embeddings de Oraciones: Modelos (ej. MPNET, NVE2, Linq, GTE) que codifican oraciones en espacios de baja dimensión, entrenados para representar similitud semántica.
Redes Neuronales de Grafos (GNNs): Específicamente ULTRA, que codifica triples de grafos de conocimiento (cabecera, relación, cola) utilizando información de ruta más corta.

3. Ajuste de Proxy (Proxy Tuning)

Dado que los embeddings preentrenados no están alineados nativamente con el conocimiento de un LLM específico, los autores los adaptan utilizando un pequeño conjunto de entrenamiento de hechos identificados mediante las estrategias de sondeo. La adaptación implica minimizar una función de pérdida para hacer coincidir la predicción basada en el embedding ( $\hat{P}_\theta$ ) con la salida sondeada por el LLM ( $P_M$ ). Se emplean dos estrategias de ajuste:

Ajuste Lineal (Linear Tuning): Actualización únicamente de la capa de decodificador lineal final ( $W$ ) manteniendo congelados los parámetros del embedding ( $E$ ).
Ajuste de Bajo Rango (LoRA): Actualización de parámetros mediante la adición de una matriz de bajo rango.

La función de pérdida es de entropía cruzada binaria para salidas discretas (0/1) y de pérdida de destilación de conocimiento (con temperatura $T$ ) para salidas continuas (logits/activaciones).

Contribuciones Clave

Nuevo Enfoque de Sondeo: Introducción de PEEK, que utiliza cabezales lineales entrenables en modelos de embedding preentrenados para sondear el conocimiento de los LLM, evitando las costosas pasadas hacia adelante a través del LLM objetivo.
Validación de Estrategias Múltiples: Descubrimiento del conocimiento factual a través de diversas estrategias, incluyendo consultas binarias, generación de texto libre y análisis de activación interna.
Evaluación Exhaustiva: Experimentos extensos a través de 4 LLMs (Llama-3.1-8B, GPT-4o, GPT-4o-mini), 3 conjuntos de datos (DBP100k, YAGO310, FactScore) y 7 modelos de embedding.
Eficiencia y Precisión: Demostración de que los embeddings pueden predecir el conocimiento de los LLM en conjuntos de prueba (held-out sets) con hasta un 90% de precisión y altos puntajes de AUC, superando significativamente a los baselines como los clasificadores de mayoría y el azar.

Resultados Experimentales

Rendimiento: Los modelos de embedding de oraciones (particularmente NVE2 y Linq) superaron consistentemente a los embeddings de grafos (ULTRA) y a los baselines. En la tarea de generación binaria en DBP100k, NVE2 alcanzó hasta un 91.52% de precisión y un 86.89% de AUC para GPT-4o-mini.
Comparación de Modelos: Mientras que Linq funcionó mejor en YAGO310, NVE2 destacó en DBP100k. Notablemente, el modelo basado en grafos ULTRA tuvo un desempeño pobre, sugiriendo que los LLMs no inducen hechos mediante los mismos mecanismos de ruta más corta que las GNNs en grafos de conocimiento.
Eficiencia de Ajuste: Se encontró que el ajuste lineal es tan efectivo como el ajuste LoRA, lo que sugiere que una simple capa lineal es suficiente para adaptar los embeddings al espacio de conocimiento de un LLM.
Robustez: Los resultados se mantuvieron estables a través de variaciones en los porcentajes de muestreo (0.1% a 10%) y en las proporciones de muestras negativas, aunque el rendimiento generalmente mejoró con la inclusión de muestras negativas debido al equilibrio de clases.
Limitaciones Observadas: El método tuvo dificultades con Llama-3.3-70B, donde los modelos de embedding no lograron estimar el conocimiento mejor que el azar, indicando que estimar el conocimiento en modelos más grandes y complejos sigue siendo un desafío.

Significado y Reivindicaciones

El artículo afirma que PEEK proporciona una alternativa escalable y rentable al sondeo de conocimiento tradicional. Al utilizar embeddings proxy, los investigadores y profesionales pueden:

Identificar brechas factuales en los LLMs a escala sin consultar a los modelos.
Obtener información sobre el sesgo inductivo interno de los LLMs con respecto a los paisajes factuales.
Optimizar la Generación Aumentada por Recuperación (RAG) al descartar hechos que el modelo ya conoce, mejorando así la utilización del contexto.

Los autores enfatizan que, aunque su benchmark se basa en conocimiento derivado de Wikipedia, la metodología no está inherentemente restringida a dominios cerrados. Sin embargo, señalan modestamente que el conocimiento de dominio especializado puede requerir el entrenamiento de embeddings específicos de dominio desde cero. El trabajo concluye que los modelos de embedding deben utilizarse en la etapa de pre-despliegue de los LLMs para encontrar y corregir preventivamente las brechas de conocimiento factual.