Resumen Técnico: El modelo conoce tu proyecto, no a ti: Midiendo el reconocimiento en los LLM con NameRank

1. Planteamiento del problema

Los modelos de lenguaje de gran escala (LLM) de frontera sirven cada vez más como la interfaz principal para la curiosidad humana respecto a las personas y su trabajo. Antes de que ocurra cualquier generación aumentada por recuperación (RAG), la memoria paramétrica de un modelo determina si un usuario recibe un resumen coherente o una alucinación o respuesta de tipo "desconocido". Sin embargo, las métricas existentes no logran medir esta "presencia en el corpus" de manera efectiva.

Los indicadores bibliométricos (por ejemplo, recuento de citas, índice h) explican solo aproximadamente un tercio de la varianza en si un modelo reconoce a un investigador. La varianza restante es impulsada por mecanismos como la singularidad del nombre, la vinculación a artefactos con nombre propio y la densidad del ecosistema de subcampos, pero estos no han sido cuantificados en una escala unificada. Además, los benchmarks tradicionales suelen confundir el reconocimiento con el alcance o no logran distinguir entre el conocimiento genuino y las alucinaciones fluidas. El artículo postula que el reconocimiento no es una función de las credenciales o los títulos, sino de si un nombre se ha propagado en los pesos de entrenamiento de los modelos de frontera como una entidad distinta e indexable.

2. Metodología: NameRank

Los autores introducen NameRank, un instrumento de reconocimiento transdominio diseñado para medir la probabilidad de que un modelo de frontera seleccionado al azar conozca genuinamente una entidad específica.

2.1 El Panel y las Sondas

• Panel: 36 modelos de frontera y casi de frontera (que abarcan proveedores occidentales y chinos, incluyendo variantes habilitadas para el razonamiento) accedidos a través de OpenRouter y APIs directas.
• Entidades: 4,685 entidades a través de 54 cohortes, incluyendo individuos acreditados (medallistas de olimpiadas, miembros de academias/Fellows), académicos en activo, figuras de la industria, mantenedores de código abierto y artefactos con nombre (herramientas, métodos, conjuntos de datos).
• Diseño de la sonda: Se utiliza un prompt abierto y fijo para cada entidad: "Dime qué sabes sobre [nombre], quien [contexto]. Si no reconoces esta entidad, responde con 'desconocido'. Limita tu respuesta a unas 150 palabras."
  • El contexto proporciona el rol, la afiliación y el campo para desambiguar nombres sin revelar contribuciones específicas o la respuesta "dorada" (gold answer).
  • El sondeo abierto evita el modo de fallo de las sondas de hechos cerrados, donde un modelo que conoce el Hecho X pero no el Hecho Y obtendría una puntuación de cero.

2.2 El Veredicto de Reconocimiento

Un LLM juez independiente (Gemini 3 Flash Preview) evalúa cada respuesta frente a una Respuesta Dorada curada.

• Veredicto Binario: El juez devuelve un 1 (reconocido) solo si la respuesta establece al menos un hecho específico, no adivinable y correcto sobre la entidad que sea:
  1. Verificado contra la respuesta dorada o el conocimiento fiable del juez.
  2. No derivable del contexto de la sonda.
  3. No sea una reiteración del contexto o una biografía genérica.
• Penalizaciones: Las alucinaciones fluidas, los ecos del contexto, las suposiciones afortunadas y las negativas puntúan 0.
• Puntuación: La puntuación NameRank de una entidad es la tasa de reconocimiento no ponderada del panel (la fracción de los 36 modelos que devuelven 1).

2.3 Calibración y Validación

• Suelo de Nulo Sintético (Synthetic-Null Floor): Se sondean entidades ficticias (investigadores, fundadores, etc., plausibles pero inexistentes) para establecer una línea base. Estas entidades puntúan cerca de cero (≤0.02), confirmando que las puntuaciones distintas de cero representan un reconocimiento genuino y no artefactos de adivinación.
• Descomposición de la Varianza: El factor de la entidad explica el 56% de la varianza en los veredictos, mientras que el factor del modelo explica solo el 9%, lo que indica que la puntuación mide la presencia de la entidad en el corpus, no las peculiaridades de un modelo específico.
• Pruebas de Robustez: El estudio valida los resultados frente a variaciones de redacción, versiones de modelos, familias de jueces y el idioma (prompts en inglés vs. chino), mostrando que los rankings permanecen estables incluso si los niveles absolutos cambian.

3. Resultados Clave

3.1 El Mecanismo "Artefacto sobre Creador"

La tesis central es que el reconocimiento se paga a los artefactos nombrados e indexables, no a las credenciales, títulos o el alcance.

• Credenciales vs. Artefactos: Las credenciales de "estilo olímpico" (IMO, IOI, Putnam, Rhodes) puntúan en o por debajo de la línea base de los investigadores en activo (ej., Oro en IMO: ~0.12 vs. Investigador en activo: ~0.40). Estas credenciales propagan nombres solo si están vinculadas a una producción posterior con nombre propio (artículos, herramientas).
• Artefactos Nombrados: Los métodos con nombre (ej., ReAct, DPO), los proyectos de código abierto (ej., LangChain, Tianshou) y las empresas a menudo superan en ranking a sus creadores. Por ejemplo, la herramienta Perplexity (0.89) puntúa más alto que su fundador Aravind Srinivas (0.75), quien a su vez puntúa más alto que el cofundador Johnny Ho (0.28), a pesar de que Ho es tres veces medallista de oro de la IOI.
• Inversión: El nombre del artefacto viaja más lejos en el corpus que el nombre del creador. Esta es una propiedad observacional de la asimetría de atribución en el texto indexable, no algo que una intervención de prompt pueda fabricar.

3.2 Predictores de Reconocimiento

• Bibliometría: Ningún bibliométrico (índice h, citas brutas) predice bien el reconocimiento. Incluso los mejores correlatos explican solo ~22% de la varianza.
• Densidad del Corpus: El reconocimiento está fuertemente correlacionado con la "densidad del corpus" de la institución y el país. Los investigadores en instituciones de alta densidad (MIT, Berkeley) puntúan más alto que sus pares con niveles de citación similares en instituciones de menor densidad. Del mismo modo, los investigadores basados en EE. UU. puntúan significativamente más alto que sus homólogos de China o la India, impulsados por la densidad del ecosistema de lengua inglesa (newsletters, podcasts, tutoriales) más que por la producción de investigación por sí sola.
• Eventos de Noticias: Para eventos de noticias, el reconocimiento sigue la saliencia máxima (qué tan fuerte fue la noticia) en lugar de la persistencia (cuánto duró). La atención máxima genera más documentos portadores de nombres, lo que impulera el reconocimiento.

3.3 Autoinforme del Modelo vs. Realidad

Cuando se pide a los modelos que informen sobre su propio reconocimiento de entidades, sus rankings se correlacionan con el prior del corpus compartido (fama general) en lugar de su propio conocimiento verificado. Los modelos recitan la fama de consenso en lugar de introspeccionar sus pesos específicos.

4. Contribuciones

1. Un Instrumento Transdominio: NameRank sitúa a investigadores, fundadores, autores de OSS y artefactos con nombre en un único eje de reconocimiento [0, 1], calibrado por suelos de nulo sintético.
2. Análisis del Arco de Carrera: Demuestra que las credenciales solo propagan nombres si portan artefactos con nombre. Los premios al mejor artículo y la autoría de métodos con nombre puntúan por encima de la base del investigador; las medallas puras no lo hacen.
3. El Mecanismo del Artefacto Nombrado: Establece empíricamente que los artefactos a menudo superan en ranking a sus creadores y que esta inversión es una propiedad observacional de la atribución del corpus, no un artefacto del prompt.
4. Límites Predictivos: Muestra que la bibliometría es un mal predictor del reconocimiento de los LLM y que la densidad del corpus (institución/país) y la saliencia máxima (para eventos) son impulsores más fuertes.
5. Batería de Validación: Proporciona una suite de validación rigurosa (incluyendo sondas de autoinforme y verificaciones translingüísticas) y libera todos los datos, sondas y código.

5. Significación y Reivindicaciones

El artículo afirma que NameRank mide el residuo del reconocimiento que la bibliometría no logra captar: la medida en que el nombre de una entidad ha sido internalizado por los modelos de frontera como un hecho distinto e indexable.

• Cambio de Medición: A medida que la curiosidad humana se redirige a través de los modelos, la "presencia" de un nombre en los pesos de un modelo se convierte en un problema de medición sustantivo. NameRank cuantifica esta presencia.
• Desigualdad Estructural: El instrumento revela desigualdades estructurales en la propagación de nombres. La misma producción de investigación se propaga de forma diferente dependiendo de la densidad del corpus en inglés del ecosistema del investigador (ej., EE. UU. vs. China/India).
• Implicación Práctica: Para los individuos que buscan reconocimiento en la era de los LLM, la estrategia no es simplemente acumular credenciales o citas, sino producir artefactos distintivamente nombrados e indexables (herramientas, métodos, artículos) que se acumulen en el corpus. El reconocimiento es un libro de contabilidad acumulativo de texto portador de nombres, no un indicador de la atención actual o de la selectividad intelectual bruta.
• Limitaciones: El artículo señala modestamente que los niveles absolutos dependen de la redacción y que la métrica hereda los sesgos demográficos presentes en el corpus de entrenamiento y en el juez. Mide lo que los modelos han absorbido, no necesariamente la "verdad" o el "mérito" de la entidad.

En resumen, el artículo argumenta que en el régimen mediado por LLM, el modelo conoce tu proyecto, no a ti. El reconocimiento es una propiedad del artefacto nombrado, no de la credencial.