Resumo Técnico: Suporte à Decisão Ortopédica Multilíngue Confiável a partir de Narrativas Clínicas

1. Definição do Problema

O suporte à decisão clínica (CDS) multilíngue enfrenta obstáculos significativos em ambientes de saúde linguisticamente diversos e de baixos recursos, particularmente no Sul da Ásia, onde as interações clínicas ocorrem em línguas regionais (ex: hindi, punjabi), enquanto as ferramentas de IA permanecem predominantemente centradas no inglês. O suporte à decisão ortopédica é um caso de uso crítico devido à natureza das narrativas dos pacientes, que frequentemente contêm sintomas sobrepostos, evidências incompletas, terminologia heterogênea e padrões de documentação dependentes da língua.

As abordagens existentes lutam contra vários desafios específicos:

• Instabilidade Condicional à Língua: O desempenho e a calibração do modelo variam significativamente entre as línguas, especialmente sob distribuições de prevalência clínica natural, onde o desequilíbrio de classes é severo.
• Especialização de Domínio: Codificadores multilingues de uso geral e LLMs (Large Language Models) de zero-shot muitas vezes carecem do embasamento específico necessário para uma categorização clínica de conjunto fechado e sensível à segurança.
• Lacunas de Confiabilidade: Métricas de acurácia agregadas ocultam modos de falha clinicamente significativos, como previsões excessivamente confiantes em casos incertos ou vieses específicos de cada língua.
• Falta de Mecanismos de Adiamento: Os sistemas atuais frequentemente carecem de mecanismos explícitos para adiar previsões incertas para revisão humana, um requisito crucial para o CDS orientado à segurança.

2. Metodologia

O estudo propõe um framework orientado à confiabilidade composto por um conjunto de dados curado, uma arquitetura de modelo adaptativa ao domínio e uma camada de verificação pós-predição determinística.

2.1 Construção do Conjunto de Dados

Os autores construíram um corpus clínico ortopédico multilíngue curado de grande escala contendo 134.979 registros em inglês, hindi e punjabi. Os dados foram extraídos de um hospital de cuidados terciários no Paquistão (com colaboração de hospitais indianos) e incluem notas redigidas naturalmente, não traduções.

• Rótulos Diagnósticos: Seis categorias: Espinal, Musculoesquelético, Ósseo, Quadril, Outros e Desconhecido (denotando evidência insuficiente).
• Configurações de Avaliação: Duas distribuições foram definidas:
  1. Equilibrada Controlada: 18.000 registros (1.000 por classe por língua) para permitir uma comparação justa entre línguas.
  2. Prevalência Natural: O corpus refinado completo, refletindo o desvio realista de rótulos clínicos (ex: queixas de Quadril dominam no Inglês/Hindi; Espinal domina no Punjabi).

2.2 Arquitetura Proposta: IndicBERT-HPA

Para abordar as discrepâncias de domínio e de língua, os autores introduziram o IndicBERT-HPA (Adaptadores Hindi–Punjabi).

• Base: Um codificador IndicBERT compartilhado fornece um espaço de representação multilingue comum.
• Adaptação:
  • Inglês: Segue o caminho direto do codificador compartilhado.
  • Hindi e Punjabi: Passam por cabeças de adaptador ortopédico leves e específicas para cada língua. Esses adaptadores utilizam uma transformação residual de gargalo para projetar as representações compartilhadas em um espaço clinicamente discriminativo sem duplicar o codificador completo.
• Treinamento: O modelo é treinado de ponta a ponta usando perda de entropia cruzada, otimizando conjuntamente o codificador compartilhado, os adaptadores e a cabeça de classificação.

2.3 Baselines e Comparações

O estudo compara o IndicBERT-HPA contra:

• Codificadores Supervisionados: XLM-RoBERTa, mDeBERTa, IndicBERT padrão e DistilBERT (ajustados para a tarefa).
• LLMs Zero-Shot: DeepSeek Open, Mistral-7B Instruct e Zephyr-7B avaliados em um cenário de conjunto fechado de zero-shot, sem ajuste fino específico para a tarefa ou aumento de recuperação (retrieval augmentation).

2.4 Camada de Verificação Seletiva Determinística

Uma camada pós-predição é implementada para separar a predição diagnóstica da autorização da decisão. Ela não modifica os parâmetros do modelo, mas determina se uma predição deve ser aceita automaticamente ou adiada. A função de decisão $g$ baseia-se em três sinais:

1. Gating de Confiança: Rejeita predições abaixo de um limiar $\tau$ (definido em 0.60).
2. Verificação de Consistência de Evidência: Verifica se a categoria prevista é sustentada por regras de evidência de sintomas-diagnóstico.
3. Triagem de Risco de Língua: Sinaliza registros com incompatibilidade de escrita, mistura anormal ou ruído excessivo de transliteração.
   Se qualquer condição falhar ($s_i < \tau$ OU evidência $\neq$ suportada OU risco = alto), o caso é adiado para revisão humana.

3. Principais Contribuições

1. Corpus Ortopédico Multilíngue Curado: Um conjunto de dados de grande escala abrangendo inglês, hindi e punjabi, suportando avaliação tanto equilibrada quanto de prevalência natural para analisar o desequilíbrio de classes e a heterogeneidade linguística.
2. Codificador Adaptativo ao Domínio (IndicBERT-HPA): Uma arquitetura que aumenta o IndicBERT com adaptadores ortopédicos conscientes da língua, preservando representações compartilhadas enquanto permite especialização direcionada para línguas de baixos recursos.
3. Protocolo de Avaliação Orientado à Confiabilidade: Uma avaliação abrangente que vai além da acurácia agregada para incluir desempenho por classe, ROC-AUC, AUPRC, Erro de Calibração Esperado (ECE) e estabilidade translinguística sob prevalência natural.
4. Camada de Verificação Seletiva Determinística: Um sistema baseado em regras que combina confiança, consistência de evidência e risco de língua para autorizar a aceitação ou adiar casos incertos, abordando explicitamente os requisitos de segurança e o loop humano-na-malha (human-in-the-loop).

4. Resultados Experimentais

4.1 Desempenho do Codificador Supervisionado

• Configuração Controlada: O IndicBERT-HPA alcançou o maior desempenho geral, com um Macro-F1 médio de 0.8177, Macro-AUROC de 0.9302 e AUPRC de 0.9147. Ele superou consistentemente os baselines na classificação de Musculoesquelético e "Desconhecido" (evidência insuficiente).
• Configuração de Prevalência Natural: O IndicBERT-HPA manteve a robustez, atingindo um Macro-F1 médio de 0.8792, Macro-AUROC de 0.894 e AUPRC de 0.902. Ele superou significativamente todos os baselines, incluindo XLM-RoBERTa e DistilBERT.
• Calibração: Embora o IndicBERT-HPA tenha mostrado forte discriminação, ele exibiu um Erro de Calibração Esperado (ECE) mais alto do que alguns baselines em línguas específicas (ex: inglês), motivando a necessidade da camada de verificação em vez de confiar apenas na confiança.

4.2 Desempenho de LLMs Zero-Shot

Os LLMs zero-shot tiveram um desempenho substancialmente inferior aos codificadores adaptados à tarefa para classificação de conjunto fechado:

• DeepSeek Open (o LLM mais forte) alcançou um F1-score médio de 0.6121 sob prevalência natural.
• IndicBERT-HPA superou o melhor LLM por uma margem larga (0.8792 vs. 0.6121).
• Os LLMs exibiram instabilidade significativa dependente da língua e careceram do embasamento específico da tarefa necessário para categorização clínica estruturada sem ajuste fino.

4.3 Resultados da Verificação Seletiva

Avaliado em um subconjunto de 5.000 registros:

• Baseline Aceitar-Todos: 71.5% de acurácia, 0.65 de Macro-F1.
• Com Verificação: O sistema aceitou 72.3% dos casos (adiando 27.7%) e alcançou 84.4% de acurácia seletiva e 0.76 de Macro-F1 seletivo.
• Impacto na Segurança: A camada reduziu os erros aceitos inseguros em 60.4% em comparação com a política de aceitar todos, roteando efetivamente casos incertos para revisão humana sem modificar o classificador subjacente.

5. Significância e Alegações

O artigo afirma que o suporte à decisão ortopédica multilíngue requer uma mudança do diagnóstico autônomo para a assistência orientada à confiabilidade. O estudo demonstra que:

• A Adaptação de Domínio é Crítica: A adaptação de domínio explícita (IndicBERT-HPA) supera significativamente tanto os codificadores multilingues gerais quanto os LLMs zero-shot em ambientes clínicos multilingues de baixos recursos.
• A Prevalência Natural Importa: A avaliação sob distribuições clínicas naturais revela modos de falha e problemas de calibração que os benchmarks equilibrados ocultam.
• O Adiamento Melhora a Segurança: A verificação seletiva determinística melhora efetivamente a confiabilidade das predições aceitas automaticamente ao filtrar casos de baixa confiança ou inconsistentes, reduzindo o risco de erros automatizados em fluxos de trabalho clínicos.
• Necessidade de Humano-na-Malha: Os resultados apoiam um fluxo de trabalho onde a IA fornece categorização preliminar com sinais explícitos de incerteza, adiando casos complexos ou arriscados para clínicos, em vez de tentar o diagnóstico totalmente autônomo.

Os autores enfatizam que estes achados são retrospectivos e específicos de subconjuntos; a validação prospectiva com clínico-na-malha é necessária antes da implantação em fluxos de trabalho do mundo real. O estudo não alega que os LLMs zero-shot estejam prontos para esta tarefa específica sem adaptação, nem alega que a camada de verificação substitui o julgamento clínico.