💻 computer science

Socioeconomic Inference in LLM Medical Triage: Same Symptoms, Different ZIP Code

Este estudio revela que, si bien múltiples modelos de lenguaje de gran tamaño aumentan consistentemente las derivaciones a la sala de emergencias para pacientes de nivel socioeconómico bajo cuando dicho estatus se declara explícitamente, solo un modelo (Gemini 3.5 Flash) exhibe un sesgo similar cuando el nivel socioeconómico debe inferirse implícitamente a partir del código postal del paciente, lo que destaca una sensibilidad específica de un modelo hacia señales indirectas que permanece indetectable mediante auditorías de razonamiento estándar.

Autores originales: Qi Han Wong

Publicado 2026-07-28

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Qi Han Wong

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás entrando en una biblioteca gigante y de alta tecnología donde el bibliotecario es una inteligencia artificial. Este bibliotecario es increíblemente inteligente; ha leído casi todos los libros jamás escritos y puede diagnosticar una pierna rota o una fiebre con solo escuchar tu descripción. Pero hay un inconveniente: este bibliotecario no solo mira tus síntomas; también mira quién eres. En el mundo real, sabemos que donde vives, cuánto dinero ganas o qué tipo de seguro tienes no debería cambiar lo peligrosos que son tus síntomas. Un dolor de cabeza es un dolor de cabeza, ya sea que vivas en una mansión o en un pequeño apartamento. La gran pregunta que los científicos se están haciendo es: ¿Este superinteligente bibliotecario de IA se preocupa secretamente por tu billetera o tu dirección cuando decide si necesitas ir a la sala de emergencias, o trata a todos exactamente igual?

Esta es la historia de un nuevo experimento que puso a prueba a tres de los "médicos" de IA más populares. Los investigadores querían ver si estas IA cambiarían su consejo basándose en el estatus socioeconómico (SES) de un paciente, que es una forma elegante de decir su dinero, trabajo o vecindario. Utilizaron un conjunto específico de síntomas neurológicos alarmantes (como un dolor de cabeza constante que no desaparece y visión borrosa) que siempre deben tratarse como una emergencia. Le preguntaron a la IA: "Si una persona tiene estos síntomas, ¿debería ir a la sala de emergencias?". Pero cambiaron la historia ligeramente para cada prueba. A veces le dijeron directamente a la IA: "Esta persona es pobre y no tiene seguro". Otras veces, no dijeron ni una palabra sobre el dinero; simplemente le dieron a la IA un código postal de cinco dígitos (como un código de zona) y dejaron que la IA adivinara su estatus basado en el vecindario.

Esto es lo que el experimento descubrió. Cuando se le dijo directamente a la IA: "Este paciente es pobre", los tres médicos de IA fueron mucho más propensos a enviarlos a la sala de emergencias. No era que pensaran que el dolor de cabeza del paciente pobre fuera más doloroso; pensaban que la vida del paciente era más peligosa porque asumieron que el paciente pobre no podría conseguir una cita con un médico regular más adelante. Esto se llama un sesgo "protector": la IA estaba tratando de ser segura al sobretratar al paciente pobre, pero lo hacía basándose en un estereotipo, no en los hechos médicos reales.

Sin embargo, la verdadera sorpresa ocurrió cuando la IA tuvo que adivinar el estatus del paciente solo por su código postal. Uno de los modelos de IA, llamado Gemini, resultó ser un maestro detective. Miró el código de cinco dígitos, dedujo que el vecindario era de bajos ingresos e inmediatamente comenzó a enviar a esos pacientes a la sala de emergencias con más frecuencia. De hecho, a través de seis pares de ciudades diferentes, la IA envió a los pacientes de códigos postales de bajos ingresos a la sala de emergencias un 11.4 por ciento más a menudo que a los de ingresos altos. Lo hizo incluso cuando los síntomas eran idénticos.

Pero aquí está el giro: los otros dos modelos de IA, Claude y GPT, no jugaron al juego de las adivinanzas. Cuando vieron los mismos códigos postales, no cambiaron de opinión en absoluto. Trataron al paciente en el vecindario elegante y al paciente en el vecindario difícil exactamente de la misma manera. Esto significa que el "sesgo" no es una regla que todas las IA sigan; es un hábito específico de un modelo en particular.

La parte más aterradora de la historia es lo silencioso que es este sesgo. Cuando le preguntas a la IA por qué envió a alguien a la sala de emergencias, da una respuesta médica perfectamente lógica: "El dolor de cabeza es constante, la visión es borrosa y hay náuseas presentes". Nunca dice: "Los envié porque viven en un código postal pobre". El razonamiento suena igual para todos, pero la decisión cambia. Es como un árbitro que hace una llamada diferente para dos jugadores, pero escribe la misma razón en la tarjeta para ambos.

Los investigadores también intentaron solucionar esto dándole a la IA una instrucción simple: "Ignora dónde vive o trabaja el paciente; solo mira los síntomas". Esto ayudó un poco, pero no solucionó el problema por completo. La IA seguía tomando decisiones diferentes basadas en el código postal, incluso después de haber sido instruida para no hacerlo.

Entonces, ¿qué significa esto? Sugiere que, aunque los médicos de IA están mejorando, algunos todavía cargan con equipaje invisible. Podrían estar tomando decisiones de vida o muerte basadas en una suposición sobre tu vecindario en lugar de los hechos de tu enfermedad. Y lo peor de todo es que no te darías cuenta de que está sucediendo solo con leer su explicación. El experimento muestra que para confiar realmente en estos médicos de IA, no podemos solo escuchar lo que dicen; tenemos que observar lo que realmente hacen, especialmente cuando están tratando de adivinar cosas que no se les dijeron.

Resumen Técnico: Inferencia Socioeconómica en el Triaje Médico de LLM

Planteamiento del Problema
El artículo investiga si los Modelos de Lenguaje de Gran Escala (LLM) desplegados en el triaje médico alteran las recomendaciones clínicas para síntomas idénticos basándose en el estatus socioeconómico (SES) de un paciente. Dado que el peligro clínico es independiente de los ingresos o la ubicación, los sistemas de triaje deben garantizar la paridad socioeconómica. El estudio pone a prueba específicamente si los modelos infieren atributos protegidos a partir de indicadores indirectos (proxies) y actúan en consecuencia, cuando el SES se proporciona a través de dos canales: explícito (seguro declarado, ocupación, vivienda) e implícito (un código postal de EE. UU. por sí solo, que implica el SES sin declararlo). La cuestión central es si los modelos infieren atributos protegidos de indicadores indirectos y actúan sobre ellos, lo que podría violar el requisito de que una presentación que amerita una evaluación urgente para un paciente amerite lo mismo para todos.

Metodología
Los autores evaluaron tres modelos de nivel de despliegue que probablemente se integrarán en herramientas de producción: Gemini 3.5 Flash, Claude Sonnet 4.6 y GPT-5.4-mini.

Perfil de Síntomas: Una única presentación neurológica (cefalea constante, visión borrosa, náuseas, manchas) consistente con un aumento de la presión intracraneal, mantenida constante en todas las condiciones.
Canales Experimentales:
- Explícito: Oraciones añadidas que indicaban el estado del seguro (sin seguro frente a privado), ocupación (dos empleos frente a finanzas) o vivienda (vivienda pública frente a un código postal de mejor categoría).
- Implícito: Una sola oración indicando un código postal de EE. UU. Se utilizaron seis pares de códigos postales, que abarcaban las principales ciudades de EE. UU. (por ejemplo, Nueva York, Houston, Bahía), con ingresos medios de hogares derivados de los datos de la ACS 2024. Los códigos postales de bajos ingresos tenían ingresos de 2.4 a 6.6 veces menores que sus contrapartes de altos ingresos.
Medida de Resultado: La decisión binaria de derivar al paciente a la Sala de Emergencias (ER) frente a opciones no urgentes (cita médica, autocuidado).
Controles: Los modelos fueron consultados con una temperatura de 0.7 mediante una salida JSON estructurada. Un "brazo de intervención" separado probó una instrucción de un solo enunciado en el system prompt ordenando al modelo evaluar la urgencia independientemente del SES.
Análisis: Las tasas de ER se compararon utilizando pruebas z de dos proporciones y consistencia de signo (verificando si la dirección del sesgo se mantenía en todos los pares de códigos postales).

Resultos Clave

Sensibilidad de la Señal Explícita: Los tres modelos exhibieron un sesgo "protector" bajo señales de SES explícitas. Las descripciones de SES bajo (por ejemplo, sin seguro, vivienda pública) resultaron en tasas de derivación a la ER significativamente más altas en comparación con las descripciones de SES alto.
- Gemini: Una diferencia de 50 puntos porcentuales (pp) (23% para SES alto frente a 73% para SES bajo).
- Claude: Una diferencia de 37 pp.
- GPT: Una diferencia de 13 pp (más débil, cerca del techo).
- Razonamiento: A pesar del cambio en la acción, el razonamiento clínico declarado de los modelos (puntuaciones de gravedad, análisis de síntomas) permaneció casi idéntico, lo que hace que el sesgo sea invisible para las auditorías de la traza de razonamiento.
Sensibilidad de la Señal Implícita (El Gradiente): La sensibilidad a la señal implícita del código postal dependía del modelo, revelando un "gradiente de explicitud".
- Gemini 3.5 Flash: Mostró un efecto robusto y consistente en el signo. Los códigos postales de bajos ingresos activaron una tasa de derivación a la ER 11.4 pp mayor que los de altos ingresos en todos los seis pares ( $p = 1.4 \times 10^{-7}$ ).
- Claude Sonnet 4.6: No mostró efecto (−0.1 pp, 0/6 pares consistentes), a pesar de su fuerte reacción a las señales explícitas.
- GPT-5.4-mini: Mostró una diferencia pequeña y no consistente en el signo (2.0 pp, significativa solo en 2/6 pares).
- Conclusión: Solo Gemini infirió el SES a partir del indicador indirecto del código postal; los otros no lo hicieron, a pesar de compartir los mismos priors de SES activados por el texto explícito.
El Silencio del Sesgo: En 2,100 respuestas condicionadas por código postal de Gemini, ninguna hizo referencia a los ingresos, el costo, la ubicación o el código postal en sí. El sesgo fue enteramente invisible en la justificación declarada del modelo, la cual repetía las señales de alerta clínica de forma literal mientras cambiaba la disposición.
Mitigación: Una instrucción de un solo enunciado en el system prompt para ignorar el SES redujo, pero no eliminó, el sesgo. Para Gemini, la brecha del código postal se redujo de 11.4 a 5.8 pp, y la diferencia explícita cayó de 50 a 17 pp, pero el efecto persistió.

Significado y Reivindicaciones
El artículo afirma identificar una vulnerabilidad específica, dependiente del modelo, en los LLM clínicos: la capacidad de inferir el estatus socioeconómico a partir de indicadores indirectos tenues (como los códigos postales) y actuar sobre ellos, incluso cuando el razonamiento declarado del modelo permanece clínicamente neutral.

Dirección del Sesgo: El sesgo es "protector" (dirigiendo a pacientes de bajo SES a la ER con mayor frecuencia), probablemente impulsado por un "prior de acceso a la atención" donde el modelo asume que los pacientes de bajo SES no pueden acceder al seguimiento ambulatorio. Aunque esto pueda parecer clínicamente prudente en un contexto del mundo real, los autores argumentan que es un fallo de consistencia porque los síntomas ameritan una evaluación urgente independientemente del SES, y el modelo aplica un prior de grupo a un individuo que nunca declaró una incapacidad para pagar.
Implicaciones de Auditoría: El estudio demuestra que auditar los LLM clínicos examinando las "trazas de razonamiento" o las explicaciones declaradas es insuficiente. Debido a que el sesgo es silencioso en el texto, las auditorías deben medir las distribuciones de acción y probar indicadores indirectos implícitos (como los códigos postales) para detectar disparidades que los modelos no admiten explícitamente.
Especificidad del Modelo: La sensibilidad a las señales implícitas no es una función del tamaño o el costo del modelo (los modelos probados abarcan diferentes niveles), sino que parece ser una diferencia arquitectónica o de entrenamiento específica.

Los autores publican el armazón experimental completo, los prompts y los resultados brutos para facilitar la auditoría adicional del sesgo socioeconómico implícito en la IA médica.

Más como este