Reliability-Oriented Multilingual Orthopedic Diagnosis: A Domain-Adaptive Modeling and a Conceptual Validation Framework

Resumo Técnico: Diagnóstico Ortopédico Multilíngue Orientado à Confiabilidade

Declaração do Problema
O suporte à decisão clínica multilíngue enfrenta desafios significativos em ambientes de saúde linguisticamente diversos e com recursos limitados, particularmente onde os registros eletrônicos de saúde e as ferramentas de IA são predominantemente centrados no inglês, enquanto as interações clínicas ocorrem em línguas regionais como hindi e punjabi. Essa incompatibilidade linguística aumenta o risco de má interpretação e entrega inconsistente de cuidados. O diagnóstico ortopédico serve como um campo de testes de alto risco para essa questão devido a sintomas sobrepostos, terminologia heterogênea e à necessidade crítica de classificação confiável e estruturada, em vez de geração aberta. Abordagens existentes frequentemente dependem de codificadores multilíngues de propósito geral ou de Grandes Modelos de Linguagem (LLMs) em configuração zero-shot, os quais, segundo os autores, carecem de especialização de domínio suficiente, exibem instabilidade condicional à língua e sofrem de lacunas de calibração em contextos críticos para a segurança.

Metodologia
O estudo propõe uma análise em nível de sistema comparando três regimes de modelagem contra LLMs em zero-shot para diagnóstico ortopédico em inglês, hindi e punjabi.

1. Construção do Conjunto de Dados: Os autores curaram um corpus ortopédico multilíngue em grande escala a partir do Hospital Bahawalpur Victoria e parceiros indianos, compreendendo aproximadamente 135.000 notas clínicas. Os dados passaram por refinamento rigoroso, incluindo deduplicação, filtragem de ruído e alinhamento de rótulos por médicos ortopedistas licenciados. Dois cenários de avaliação foram estabelecidos:

   • Controlado (Balanceado): 18.000 notas distribuídas uniformemente entre as línguas e seis categorias diagnósticas (Coluna Vertebral, Musculoesquelético, Osso, Quadril, Outro, Desconhecido).
   • Natural (Mundo Real): ~135.000 notas mantendo o desequilíbrio de classe original e a prevalência para simular condições de implantação.

2. Regimes de Modelagem:

   • Ajuste Fino Apenas da Tarefa: Avaliação de codificadores multilíngues de propósito geral (XLM-RoBERTa, IndicBERT, mDeBERTa) e uma base leve centrada no inglês (DistilBERT) ajustada de ponta a ponta na tarefa ortopédica.
   • Arquitetura Adaptativa ao Domínio (IndicBERT-HPA): Uma extensão proposta do IndicBERT que integra cabeças adaptadoras ortopédicas específicas de língua. Esta arquitetura utiliza projeções de gargalo para mapear representações linguísticas gerais em um subespaço ortopédico clinicamente discriminativo, preservando a capacidade de transferência entre línguas.
   • LLMs em Zero-Shot: Avaliação de LLMs ajustados para instruções (DeepSeek Open, Mistral-7B Instruct, Zephyr-7B) em configuração zero-shot para avaliar sua fluência generativa versus confiabilidade diagnóstica estruturada, sem ajuste fino.

3. Protocolo de Avaliação: O desempenho foi medido usando precisão, recall, pontuação F1, acurácia, ROC-AUC e AUPRC. Crucialmente, o estudo incorporou o Erro de Calibração Esperado (ECE) para avaliar a confiabilidade da confiança.

4. Quadro de Validação Conceitual: Com base em modos de falha empíricos, os autores propõem uma camada de validação determinística baseada em agentes. Este quadro separa a geração de diagnóstico da autorização de decisão, empregando agentes de verificação de evidências, verificações de consistência linguística e um mecanismo de gate conservador humano-no-loop para adiar previsões de baixa confiança ou contraditórias.

Principais Contribuições

1. Conjunto de Dados Multilíngue Curado: A criação de um conjunto de dados ortopédicos em grande escala, validado por médicos, abrangendo inglês, hindi e punjabi, apoiando análises de distribuição balanceada e natural.
2. Arquitetura IndicBERT-HPA: A introdução de um modelo adaptativo ao domínio que modela explicitamente a estrutura do domínio por meio de adaptadores específicos de língua, demonstrando que a especialização arquitetural pode superar a escala em configurações clínicas com recursos limitados.
3. Avaliação Orientada à Confiabilidade: Um protocolo abrangente que vai além da acurácia agregada para analisar o desempenho por classe, o comportamento de calibração (ECE) e a instabilidade entre línguas, destacando que alta discriminação não garante implantação segura.
4. Quadro de Validação Conceitual: Um design teórico para um sistema determinístico baseado em agentes que impõe consistência de evidências e gate conservador, posicionando a separação entre geração de previsão e autorização de decisão como um requisito central para sistemas críticos para a segurança.

Resultados

• LLMs em Zero-Shot: Apesar de forte fluência linguística, os LLMs em zero-shot exibiram calibração instável, ancoragem fraca de rótulos e variabilidade significativa entre línguas. Seu desempenho foi consistentemente inferior ao dos codificadores supervisionados, particularmente em línguas com recursos limitados (punjabi) e para tarefas de classificação estruturada.
• Apenas Tarefa vs. Adaptativo ao Domínio: Embora modelos ajustados apenas para a tarefa (como DistilBERT) tenham alcançado pontuações agregadas fortes, eles mostraram calibração frágil e desempenho desigual entre as línguas. IndicBERT-HPA alcançou a melhor discriminação geral (Macro-F1 ~0,88–0,89 em cenários do mundo real) e o comportamento mais consistente entre línguas. Demonstrou qualidade superior de classificação (AUROC/AUPRC) e sinais de confiança mais previsíveis em comparação com as bases.
• Calibração e Robustez: O estudo constatou que modelos com alta AUROC ainda podem sofrer de excesso de confiança (alto ECE). O IndicBERT-HPA, embora apresentando erro de calibração moderado, manteve separabilidade estável, o que os autores argumentam ser mais crítico para a segurança do que a acurácia bruta, pois a má calibração pode ser corrigida post-hoc, enquanto a discriminação pobre não pode.
• Desempenho no Mundo Real: Sob desequilíbrio de classe natural, codificadores supervisionados superaram significativamente os LLMs em zero-shot. No entanto, todos os modelos mostraram sensibilidade a mudanças distribucionais, reforçando a necessidade de camadas de validação explícitas.

Significado e Alegações
O artigo argumenta que o suporte à decisão clínica multilíngue confiável não pode depender apenas da escala do modelo ou da fluência generativa. Em vez disso, requer uma abordagem em nível de sistema que integre:

1. Especialização Adaptativa ao Domínio: O alinhamento arquitetural explícito com a taxonomia médica e restrições linguísticas é mais eficaz do que o pré-treinamento de propósito geral para tarefas estruturadas.
2. Avaliação Consciente da Confiabilidade: As métricas devem incluir calibração e estabilidade por classe, não apenas acurácia agregada, para identificar modos de falha em contextos críticos para a segurança.
3. Governança e Validação: A separação da geração de previsão da autorização de decisão por meio de camadas de validação determinísticas e baseadas em regras é essencial para gerenciar riscos, garantir auditabilidade e permitir supervisão humana no loop.

Os autores concluem que, embora os LLMs mostrem promessa em tarefas generativas, sua aplicação em zero-shot a diagnósticos multilíngues estruturados e de alto risco é atualmente insuficiente. A arquitetura IndicBERT-HPA proposta e o quadro de validação conceitual oferecem um caminho para sistemas de IA clínica mais seguros e confiáveis, que priorizam a responsabilidade e a mitigação de riscos em vez da tomada de decisão autônoma.